Saqoosha

篠崎愛 公式ブログ - ハッピーバレンタイン(*ˊᗜˋ*)
ASCII.jp： 「Hack Day 2016」で篠崎愛さんが愛のチョコを発射！
篠崎愛×Saqoosha〜300名以上のクリエイターが集った「Hack Day 2016」
「愛のチョコバズーカー」dot by dot inc Saqoosha × 篠崎愛 - YouTube
メイキング映像「愛のチョコバズーカー」dot by dot inc Saqoosha × 篠崎愛 - YouTube
https://www.youtube.com/watch?v=bYCsR5QkTSI
https://www.youtube.com/watch?v=pgkZNPniMUI

っつーことで、もうだいぶん前の話になるけど Yahoo! JAPAN 主催の日本最大級ハッカソンイベント「Hack Day 2016」の PR 企画のひとつとして、dot by dot inc. と TASKO inc. とで、「愛のチョコバズーカ」なるものを制作しましたー。これは篠崎愛さんのダンスパフォーマンスをリアルタイムにモーションキャプチャして、その動きを解析して特定のアクションをしたら自動的にバズーカからチョコが発射される、っていうシステム。イベントが 2/14 でバレンタインだし投げキッスしたらくちびるがそのままチョコになって飛んでったらえんちゃう？っていうアイデアが発端。

システム概要図はこんな感じ。

まずはダンスの動きを PC に取り込むためのモーションキャプチャシステム。今回は赤外線カメラなどを使わない、慣性センサータイプのモーションキャプチャシステム、Xsens MVN っていうのを使いました。（Skrillex の VJ のやつとか、最近だと Chemical Brothers のアレとかにも使われてる。）買うとめーっちゃ高いんだけど今回はゼロシーセブンさんに協力してもらってレンタルさせてもらいました。セットアップは覚えてしまえばすごく簡単。キャリブレーションも数秒でおわるので、センサーの位置を間違ってつけたりしなければ数分でキャプチャできる状態までもってけます。長時間になると徐々にドリフトしちゃうという話もあるけど、今回みたいな短いパフォーマンスなら精度もまったく問題なし。

モーションを解析するパート（ここ、 Saqoosha がプログラム書いたとこ）は Unity で。MVN は別マシンの Windows で動いてるんだけど、そっから UDP で送られてくるデータをうけとって Unity 上のスケルトンに反映させて動き解析する。データ受け取ってスケルトンに反映させるってとこまでは、Asset がすでに用意されてるので自分でなにか書く必要はまったくなし。書いたのはほんとモーション解析とバズーカへの指示出しだけ。モーション解析は解析ってほど複雑なことはやってなくて（じつはそのせいで誤射多かったんだけど、、）頭と胸と手に RigidBody つけてそれぞれの当たり判定具合でいい感じに発射。

バズーカへの指示出しはラジコン用のプロポをつかってる。これはイベント会場がおそらく Wi-Fi がとびまくってて通信がかなり不安定になるだろうから別の帯域でやったほうがいいっていう TASKO さんの提案。数万人規模の会場でも問題なくいけたっていう実績もあるってことだったのでもちろん採用。ただプロポを PC からコントロールするってのは案外大変で、そっから解析してる余裕はなかったのでサーボで物理的にプロポのレバーを倒すっていうデジタルなんだかアナログなんだかよくわからない仕組みにw。この 「プロポをサーボで」以降の仕組みが TASKO さんにつくってもらったとこ。

バズーカはもともと T シャツバズーカ (PDF) として存在していたものをベースに、ガス充填とかトリガーとか薬莢排出とかってのを自動化させたもの。MVN もすげえんだけど、このバズーカがいちばんすげえ。ちょーメカかっこいい。この 1 回でお蔵入りさせんのはもったいないなー。

A photo posted by 篠崎 愛 Ai Shinozaki Official (@shinopp._.ai) on Feb 14, 2016 at 1:54am PST

ピカソに似顔絵を描いていただいた、的なことができる neural-style を動かしてみるテスト。普段ほとんどつかわない横にころがってる PC に Ubuntu いれて Torch やら CUDA SDK やらインストール。ガイド通りやればわりとすんなり動いた。1 枚処理すんのに GPU モードで 5 分弱。GTX 770 2GB メモリではちょっとメモリたりなくて 256 x 256 出力するので精一杯。それ以上でかくすると out of memory で止まる。

楽しいｗｗｗ
3 つめのマティスとか 4, 5 つめのウォーホルの好き。
最後の水玉の神様のやつは元画像チョイスミス。

・・・

違う実装だけど仕組みがよくわかる解説。
画風を変換するアルゴリズム | Preferred Research
https://research.preferred.jp/2015/09/chainer-gogh/

自分の profile picture につかってるやつを、deep dream で finetune_flickr_style のモデルで 1000 回処理したらイヌになりました。

https://vimeo.com/132849531
まあまあキモいのでいちおう閲覧注意。

生成につかったコードこれ。最後の 4 行ぐらい自分で書いた。ほかはコピペ。
https://gist.github.com/Saqoosha/50b83b10f8dfc1cc0a3b
deep dream そのものの使い方は Qiita に書いた。

モデルをつくるとこからやってみたいすな。

つくった。アプロダというか droplr とか firestorage みたいなファイル送信サービス。シンプルなのがなかったので。ソースこつら。デモように AppFog においてみたやつこちら。（あんましちょうしよくない。10 MB ぐらいまでならたぶんいける。）

このブログとか、saqoo.sh ドメインは、さくら VPS ができたぐらいのころのやつ (メモリ 512MB とかの) にのっかってて、最近すげえレスポンス悪くなってたので、上位プランにかえた。ついでにちょっとはやってるっぽい docker でいろいろ組み立てた。ホスト OS にはなにもいれずに nginx とか MySQL とか WordPress とか ぜんぶ個別の docker のコンテナにいれちゃう。Node.js のアプリも個別のコンテナで動かせば node のバージョン違いも影響なくきれいにわけられるし、なにより、ホスト OS 側がクリーンなのが精神衛生上よいです。

下地がととのったので、表側つくりなーおすー。