Saqoosha

SNS にドローンの写真とか動画ばっかアップしてたら、あいつ仕事してないんじゃないか疑惑で心配されたりしたので、2017 年やったおしごとをまとめておきますね🤗

・・・

1. 大丸300周年記念インスタレーション「Flower Mirror」

大規模インスタレーション案件。メカ→ TASKO、デバイス→カンタさん、全体制御アプリ→わたし。これはブログ書いてたな。その後、Unite でちょっとメイキングの話したときの動画。巨大なやつを制御できるのは楽しかった。でかいのは正義。

2. YASUTAKA NAKATA OFFICIAL WEBSITE

やったのは全体のテクニカルディレクションとトップページのシェーダー 1 個書いただけですけれども。もともと CAPSULE、Perfume、MEG、きゃりーぱみゅぱみゅあたりが好物でしたので、中田事務所いって本人と打ち合わせしたのがハイライトでしたね😀

3. ツンダミフェス演出

Lyric speaker の歌詞モーショングラフィック生成エンジンをライブ演出につかってみるという案件。これもブログ書いてる。石垣島いけてよかったね案件。

4. toio collection

toio っていうソニーが開発したトイ・プラットフォーム向けソフトの一つである toio collection にふくまれるゲーム企画・UX 開発、およびそのプロトタイプの開発しごと。わたしがやったのはチームが考えたゲームがほんとにおもろい？かを実際にうごくプロトタイプとして作るところ。無理やり Rust で書いてみたり、ロボット制御の勉強したりが楽しかったですね。（オフィシャルサイトのチームのとこに写真のってるよ😎）

5. アルチンボルド展インスタレーション

ブログ記事こちら。これが今年いちばんヘビーだったやつかなあ。アイデアとしてはわりと誰でもおもいついてやりたくなる系なんだけど、実際やるとなると大変なやつ。Deep learning が話題になりつつも仕事でつかうポイントがなかなか無かったんだけど、ようやくここでつかえて TensorFlow, Keras あたりの経験・知識が増えたのが◎。

6. NHK 人体 神秘の巨大ネットワーク Web サイト

わたしがやったのはやっぱり WebGL まわりだけですけども。このシリーズ、小学校・中学校ぐらいに見てその CG 映像に衝撃うけて、パソコン買ってもらって 3D CG やって、CG 検定とかうけたりして、CG 専門学校行って、みたいな、わりと影響受けまくったやつ。（人体的な内容は別に・・って感じだけど 😅） これ関連は来年ももう少し。

7. Lyric spaeker

実はまだいろいろやってたり。来年新しい発表があるかも？ないかも？

・・・

てなとこかな。

来年もおもろくなりそうな雰囲気が漂ってきていますので、また新しいチャレンジをいろいろやっていきたいですね！💪😁✌️

篠崎愛 公式ブログ - ハッピーバレンタイン(*ˊᗜˋ*)
ASCII.jp： 「Hack Day 2016」で篠崎愛さんが愛のチョコを発射！
篠崎愛×Saqoosha〜300名以上のクリエイターが集った「Hack Day 2016」
「愛のチョコバズーカー」dot by dot inc Saqoosha × 篠崎愛 - YouTube
メイキング映像「愛のチョコバズーカー」dot by dot inc Saqoosha × 篠崎愛 - YouTube
https://www.youtube.com/watch?v=bYCsR5QkTSI
https://www.youtube.com/watch?v=pgkZNPniMUI

っつーことで、もうだいぶん前の話になるけど Yahoo! JAPAN 主催の日本最大級ハッカソンイベント「Hack Day 2016」の PR 企画のひとつとして、dot by dot inc. と TASKO inc. とで、「愛のチョコバズーカ」なるものを制作しましたー。これは篠崎愛さんのダンスパフォーマンスをリアルタイムにモーションキャプチャして、その動きを解析して特定のアクションをしたら自動的にバズーカからチョコが発射される、っていうシステム。イベントが 2/14 でバレンタインだし投げキッスしたらくちびるがそのままチョコになって飛んでったらえんちゃう？っていうアイデアが発端。

システム概要図はこんな感じ。

まずはダンスの動きを PC に取り込むためのモーションキャプチャシステム。今回は赤外線カメラなどを使わない、慣性センサータイプのモーションキャプチャシステム、Xsens MVN っていうのを使いました。（Skrillex の VJ のやつとか、最近だと Chemical Brothers のアレとかにも使われてる。）買うとめーっちゃ高いんだけど今回はゼロシーセブンさんに協力してもらってレンタルさせてもらいました。セットアップは覚えてしまえばすごく簡単。キャリブレーションも数秒でおわるので、センサーの位置を間違ってつけたりしなければ数分でキャプチャできる状態までもってけます。長時間になると徐々にドリフトしちゃうという話もあるけど、今回みたいな短いパフォーマンスなら精度もまったく問題なし。

モーションを解析するパート（ここ、 Saqoosha がプログラム書いたとこ）は Unity で。MVN は別マシンの Windows で動いてるんだけど、そっから UDP で送られてくるデータをうけとって Unity 上のスケルトンに反映させて動き解析する。データ受け取ってスケルトンに反映させるってとこまでは、Asset がすでに用意されてるので自分でなにか書く必要はまったくなし。書いたのはほんとモーション解析とバズーカへの指示出しだけ。モーション解析は解析ってほど複雑なことはやってなくて（じつはそのせいで誤射多かったんだけど、、）頭と胸と手に RigidBody つけてそれぞれの当たり判定具合でいい感じに発射。

バズーカへの指示出しはラジコン用のプロポをつかってる。これはイベント会場がおそらく Wi-Fi がとびまくってて通信がかなり不安定になるだろうから別の帯域でやったほうがいいっていう TASKO さんの提案。数万人規模の会場でも問題なくいけたっていう実績もあるってことだったのでもちろん採用。ただプロポを PC からコントロールするってのは案外大変で、そっから解析してる余裕はなかったのでサーボで物理的にプロポのレバーを倒すっていうデジタルなんだかアナログなんだかよくわからない仕組みにw。この 「プロポをサーボで」以降の仕組みが TASKO さんにつくってもらったとこ。

バズーカはもともと T シャツバズーカ (PDF) として存在していたものをベースに、ガス充填とかトリガーとか薬莢排出とかってのを自動化させたもの。MVN もすげえんだけど、このバズーカがいちばんすげえ。ちょーメカかっこいい。この 1 回でお蔵入りさせんのはもったいないなー。

A photo posted by 篠崎 愛 Ai Shinozaki Official (@shinopp._.ai) on Feb 14, 2016 at 1:54am PST

ピカソに似顔絵を描いていただいた、的なことができる neural-style を動かしてみるテスト。普段ほとんどつかわない横にころがってる PC に Ubuntu いれて Torch やら CUDA SDK やらインストール。ガイド通りやればわりとすんなり動いた。1 枚処理すんのに GPU モードで 5 分弱。GTX 770 2GB メモリではちょっとメモリたりなくて 256 x 256 出力するので精一杯。それ以上でかくすると out of memory で止まる。

楽しいｗｗｗ
3 つめのマティスとか 4, 5 つめのウォーホルの好き。
最後の水玉の神様のやつは元画像チョイスミス。

・・・

違う実装だけど仕組みがよくわかる解説。
画風を変換するアルゴリズム | Preferred Research
https://research.preferred.jp/2015/09/chainer-gogh/

自分の profile picture につかってるやつを、deep dream で finetune_flickr_style のモデルで 1000 回処理したらイヌになりました。

https://vimeo.com/132849531
まあまあキモいのでいちおう閲覧注意。

生成につかったコードこれ。最後の 4 行ぐらい自分で書いた。ほかはコピペ。
https://gist.github.com/Saqoosha/50b83b10f8dfc1cc0a3b
deep dream そのものの使い方は Qiita に書いた。

モデルをつくるとこからやってみたいすな。

つくった。アプロダというか droplr とか firestorage みたいなファイル送信サービス。シンプルなのがなかったので。ソースこつら。デモように AppFog においてみたやつこちら。（あんましちょうしよくない。10 MB ぐらいまでならたぶんいける。）