昨日のてら子で質問にあった射影変換の高速化。気になったのでやってみましたよ。射影変換 (Homography) てのは↓こういうのを言います。
左のようなパースのついた画像から、真っ正面むいてる絵を取り出すのに使ったりするですね。まーったく理論とかわかってなかったのでいろいろググって探してみたところ、AS3 で書いてる人がいたのでこれをベースにやってみました。OpenCV のソースみてるとかなり複雑そうだったのにこれはすごくシンプル。意外と簡単。
高速化の方法としては 2 つ。1 つは、Pixel Bender を使う方法。もう 1 つは DisplacementMapFilter を使う方法。両方書いてみた。で、処理速度を計測してみた結果。
–––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––– .TestSuite (20 iterations) –––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––– method...................................................ttl ms...avg ms Test1_setPixel 6594 329.70 Test2a_PixelBender 155 7.75 Test2b_PixelBender_Smoothed 187 9.35 Test3_DisplacementMap 87 4.35 ––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
それぞれの方法で 20 回処理した時間が ttl ms。avg ms は 1 回あたりの平均処理時間。Test1_setPixel てのが元のコード。329.7ms。これじゃリアルタイムには使えない。Test2a_PixelBender が Pixel Bender 版。40 倍高速。さすが。Test2b_PixelBender_Smoothed これも Pixel Bender なんだけど、sampleNearest じゃなくって sampleLinear で色を取ってきてるので画質的には一番きれい。で、最速、Test3_DisplacementMap。DisplacementMapFilter 版。(あー、ちなみにこのベンチマークテストは gSkinner の PerformanceTest クラスを使わせてもらってます。便利。)
まあ数字だけ見ると DisplacementMapFilter が一番かなっと思うのだけど、画質がけっこうアレでして。このサンプルで一番歪みが激しい左上のを比較してみるとよくわかる。
というわけで、速度的には、DisplacementMapFilter が一番速いけど画質も考慮すると Pixel Bender (sampleNearest) がベストですかね、っと。
追記:Test3_DisplacementMap には DisplacementMap 用の画像を生成する時間が含まれてないので、対象となる四角形がグリグリ変わるのなら Pixel Bender のが断然高速。って、あー、そっか、Displace map を Pixel Bender で作ればいいのか。
[…] Saqoosha.net :: スーパー高速に射影変換するには […]
[…] the comments, homography can be part of the AR video stream process. saqoosha did 2 versions with Pixelbender and a displacementmap filter. His benchmark simply makes this class pointless ( +/- 75 times faster ) check saqoosha’s article here […]
てら子で射影変換の質問させてもらったたかのぶです。
早速手持ちのソースと組み合わせてみたところ、バッチリ動きました!
動画でもイケてます。ホントありがとうございました。
変換後の縦横比が1:1になるみたいなんで、その辺もう少し勉強してみます。
あと、openCVのソースが複雑なのは多分、変換の対象となる点が4点以上
あったときに、誤差を最少2乗法とかで丸める処理が書かれてるんだと思います。
いい企画書、書けそうです。おーワクワクしてきた!
そりゃよかった。
変換後のサイズは HomographyTransformFilter の 1 個目と 2 個目の引数で変えられますよ。
OpenCV の件、そうみたいですねー。あとで調べたらそんなかんじでした。
[…] or from quadrilateral. So far, only 1st case was implemented using drawTriangles(), while 2nd case was done using filters. Well, no longer so – it turned out, inverting T values in Zeh code was sufficient to make it […]
[…] Update: makc used the same approach to do the inverse: get a projected plane out of a 3d graphic and transform it on an de-projected rectangle, something that seems to have the amazing name of inverse homography. See here, and an example of the technique here. Apparently this is a faster alternative to the same technique first employed by Japanese rock-star Flash developer Saqoosha. […]
[…] 読み込まれた画像は、歪んでいるので、正方形になるように歪みを解消します。歪みを解消する仕組みは、Saqoosha さんの記事を参考にさせて頂きました。 […]