Saqoosha

わたしがドローン関連のんをいろいろ SNS に投稿しだしたということは仕事が一段落したということであります（ｗ

なにやってたかっていうといま開催中のアルチンボルド展むけのインスタレーション作品をつくっておりました。アルチンボルドって名前だけきいても誰それ？って感じだけど、絵をみればたいていのひとは見たことあるーっていう、よくだまし絵として紹介される、野菜とか果物を組み合わせて顔になってる絵を描いてる人。あの野菜と果物の組み合わせで描かれた絵を、リアルタイムにその場で額縁の前に立った人の似顔絵として生成しちゃう仕組みをつくりました。↓こんなの。

野菜で顔をつくらせたら世界一？の Digital Media Lab チームに、10 人ぐらい、特定の人に似たモデルをつくってもらって、それを各パーツ（髪型・頭・目・鼻・口・耳・頬・首・肩とかとか）にバラバラに分解していい感じに対象者に似てるように組み立て直す、ってことをやってます。Kinect でざっくり顔形状認識して dlib でパーツ位置認識して目鼻口はてきとうにサイズ近いモデルひっぱってきてヒゲ認識に tensorflow で CNN つかってみたりメガネは Kinect SDK の機能で認識したりってな感じです。

弊社 dot by dot inc. からのプレスリリースはこちら。

プレスリリース内にも書いてありますが、これのメイキング的なことが 7/5 の 19:30 から NHK 総合で放送される「(^○^)顔面白 TV」って番組でちょっととりあげられるもよう・・・。（わたしもでるかもでないかも）

このインスタレーション以外の本編、アルチンボルドの絵画そのものもすんごいので 9 月 24 日までやってるので是非いってみて！

最近ちょっとドローンの人みたくなってるかもなんだけどいちおうちゃんと仕事してます報告その２。

こないだ、2/18 に石垣島で開催された日本一早い春フェス「Spring Trippin' Ishigaki」で Lyric Sync Engine をつかった映像演出をしました。ゆるめるモ！と比嘉栄昇さんの楽曲、11 曲の歌詞を Lyric speaker のコア機能である Lyric Sync Engine をつかってモーショングラフィックスとして自動生成しました。こんなの。

自動生成つってもその場で生成ってのはさすがに無理だし（とくに比嘉さんのは生演奏だし・・）、いまの Lyric speaker は白黒だからちょっとプロジェクションするには味気ないし、なので、あらかじめ生成したやつを書き出したやつを After Effects でカラーリングしてみました。

ゆるめるモ！のはオケ音源を映像側にくっつけちゃってこっちから音出したので同期は完璧。比嘉さんのが大変、、あらかじめ CD 音源で生成した映像の音を右耳で聞きながら、左耳でライブのを聞きながら、音が合うように映像の再生速度をちまちま調節・・・。間奏が 2 小節ぐらい長かったりとかしてあわてる場面もあったものの、見てる側的にはそんなに気にならなかったみたく、好評だったっぽい。

ギリギリまでどの曲やるかわからんんんｎーという状態でも 11 曲をそれなりに見せれる絵にできたのは、Lyric Sync Engine のおかげだわねー。

（なぜかわたしが撮影されてるように見えるやつは、また後日・・・）

最近ちょっとドローンの人みたくなってるかもなんだけどいちおうちゃんと仕事してます報告。

今年、大丸が創業 300 年 (!) をむかえるってことでその記念インスタレーションを TASKO さんと一緒につくりましたー。FLOWER MIRROR って名前のとおり、800 個のステッピングモーターで制御されたお花が咲いたり閉じたりすることでショーウィンドウの前に立った人たちのシルエットを映し出すっていうやつです。幅 5 メートル、高さ 3 メートルってサイズは設計してたときはよくわからんサイズ感だったんだけど、実際組み上がってみるとすんごいインパクト。デカさは正義すなー。

わたしは ZED っていうステレオ深度カメラとアニメーションシーケンスの制御まわりを Unity でちょろちょろっと書きました。TASKO 製メカと堀尾寛太さん制御デバイスの精度が高くて、がっちゃんこして動かすのがほとんど苦労なくできちゃってびっくり（ぶっこわしそうになる事件あったけど・・ｗ）。大変だったのは ZED の後処理。太陽光がばんばん降り注ぐショーウィンドウなので Kinect だとかなり近い部分しかとれず・・。なので 2 台のステレオカメラ映像をマッチングするタイプの ZED をつかったんだけど、やっぱ精度がすげえ適当なのでいかにうまく人のシルエットを取得するかーてとこに時間かかった。（最終アウトプットが 800 ピクセルしかないのでなんとかなった感じだなー。）

東京駅のは来週 2/28 火曜まで、そのあとは京都にもっていきまーす。

CINRA さんがやってる PORT! というイベントに急遽でることになったので「2017 年はこれが来る！」ってのがイベントのテーマなんだけどよくわからんので個人的なブームになってるドローンレースの話をしたときのスライドを置いておきます。（半分以上 YouTube embed やけど・・）

当日話せなかったとこにもノートをいろいろ書いておいたので合わせてごらんくださいませ。

こちら→ PORT! #5 / 2017 年はこれが来る！ / Saqoosha

DemoDay.Tokyo #01 でしゃべったやつ、まんまアップしときますね。これ用にもっと細かいメイキングドキュメント（こんなん）を書き始めたんだけど、書き出したらぜんぜん終わらなくって中途半端すぎたので、とりあえずこっちだけ。

絵作りのエンジニアリング
https://paper.dropbox.com/doc/5NE9S8Q80Rs5uZfq1VZGV

追記）Dropbox Paper は同時閲覧者数に制限あるぽい？ Forbidden とかで見れなかったらちょい時間おいてあとで。。。いい感じにかけるから好きなんだけどなー、まだベータ版だからかなー？

追記）アーカイブ映像が公開されたらしい。