Saqoosha

  1. About
  2. Archives
  3. Search
  4. Say
Language:

Lyric speaker 予約はじまった

歌詞が表示されるスピーカー “Lyric speaker” ついに予約が始まったー。

1 年半ぐらい前にちょっと手伝ってって言われて首をつっこんだらいつのまにかメインでプログラムかいて全体のテクニカルディレクションやってしまっています。。。呼ばれた当時にはすでに aircord を中心としたチームが作ったコンセプトモデルがちゃんとできてて歌詞もいい感じに動いてたから、自分がここから何する必要あるんだ?と思ってたし、SXSW でなんか賞もらったときも半分ぐらい「これ別に僕つくってへんしな、、、」という気持ちがあったんだけど、製品版にむけてここ 1 年以上かけてやってきたこと振り返ると、いまは自信を持って「わしが作った」と言える。(もちろん発案者の斉藤仁さんのこれにかける熱量は一番だし、他にもたーくさん関わってる人はいるし、ハード側は完全におまかせだけど。)

これまでやってた広告コンテンツ制作では得られない経験を、この Lyric speaker というプロダクト開発でできたのはすげーよかったなと思うし、そのへんはなんかの機会にまとめたい。

つーわけで、この Lyric speaker 予約開始とともに実機の展示も始まっています。三越伊勢丹新宿本店は来週 6/21 火曜まですげえでっかいブースで展示してくれてるみたいなので是非見に行ってみてください!(その後も別フロアにはあるみたい。日本橋本店と銀座店にも。)

発売日までまだまだブラッシュアップは続くので、買った人はお楽しみに!

絵作りのエンジニアリング

DemoDay.Tokyo #01 でしゃべったやつ、まんまアップしときますね。これ用にもっと細かいメイキングドキュメント(こんなん)を書き始めたんだけど、書き出したらぜんぜん終わらなくって中途半端すぎたので、とりあえずこっちだけ。

絵作りのエンジニアリング
https://paper.dropbox.com/doc/5NE9S8Q80Rs5uZfq1VZGV

追記)Dropbox Paper は同時閲覧者数に制限あるぽい? Forbidden とかで見れなかったらちょい時間おいてあとで。。。いい感じにかけるから好きなんだけどなー、まだベータ版だからかなー?

追記)アーカイブ映像が公開されたらしい。

「愛のチョコバズーカ」

篠崎愛 公式ブログ - ハッピーバレンタイン(*ˊᗜˋ*)
ASCII.jp: 「Hack Day 2016」で篠崎愛さんが愛のチョコを発射!
篠崎愛×Saqoosha〜300名以上のクリエイターが集った「Hack Day 2016」
「愛のチョコバズーカー」dot by dot inc Saqoosha × 篠崎愛 - YouTube
メイキング映像「愛のチョコバズーカー」dot by dot inc Saqoosha × 篠崎愛 - YouTube
https://www.youtube.com/watch?v=bYCsR5QkTSI
https://www.youtube.com/watch?v=pgkZNPniMUI

っつーことで、もうだいぶん前の話になるけど Yahoo! JAPAN 主催の日本最大級ハッカソンイベント「Hack Day 2016」の PR 企画のひとつとして、dot by dot inc.TASKO inc. とで、「愛のチョコバズーカ」なるものを制作しましたー。これは篠崎愛さんのダンスパフォーマンスをリアルタイムにモーションキャプチャして、その動きを解析して特定のアクションをしたら自動的にバズーカからチョコが発射される、っていうシステム。イベントが 2/14 でバレンタインだし投げキッスしたらくちびるがそのままチョコになって飛んでったらえんちゃう?っていうアイデアが発端。

システム概要図はこんな感じ。

hackday2016-bazooka-system

まずはダンスの動きを PC に取り込むためのモーションキャプチャシステム。今回は赤外線カメラなどを使わない、慣性センサータイプのモーションキャプチャシステム、Xsens MVN っていうのを使いました。(Skrillex の VJ のやつとか、最近だと Chemical Brothers のアレとかにも使われてる。)買うとめーっちゃ高いんだけど今回はゼロシーセブンさんに協力してもらってレンタルさせてもらいました。セットアップは覚えてしまえばすごく簡単。キャリブレーションも数秒でおわるので、センサーの位置を間違ってつけたりしなければ数分でキャプチャできる状態までもってけます。長時間になると徐々にドリフトしちゃうという話もあるけど、今回みたいな短いパフォーマンスなら精度もまったく問題なし。

モーションを解析するパート(ここ、 Saqoosha がプログラム書いたとこ)は Unity で。MVN は別マシンの Windows で動いてるんだけど、そっから UDP で送られてくるデータをうけとって Unity 上のスケルトンに反映させて動き解析する。データ受け取ってスケルトンに反映させるってとこまでは、Asset がすでに用意されてるので自分でなにか書く必要はまったくなし。書いたのはほんとモーション解析とバズーカへの指示出しだけ。モーション解析は解析ってほど複雑なことはやってなくて(じつはそのせいで誤射多かったんだけど、、)頭と胸と手に RigidBody つけてそれぞれの当たり判定具合でいい感じに発射。

バズーカへの指示出しはラジコン用のプロポをつかってる。これはイベント会場がおそらく Wi-Fi がとびまくってて通信がかなり不安定になるだろうから別の帯域でやったほうがいいっていう TASKO さんの提案。数万人規模の会場でも問題なくいけたっていう実績もあるってことだったのでもちろん採用。ただプロポを PC からコントロールするってのは案外大変で、そっから解析してる余裕はなかったのでサーボで物理的にプロポのレバーを倒すっていうデジタルなんだかアナログなんだかよくわからない仕組みにw。この 「プロポをサーボで」以降の仕組みが TASKO さんにつくってもらったとこ。

バズーカはもともと T シャツバズーカ (PDF) として存在していたものをベースに、ガス充填とかトリガーとか薬莢排出とかってのを自動化させたもの。MVN もすげえんだけど、このバズーカがいちばんすげえ。ちょーメカかっこいい。この 1 回でお蔵入りさせんのはもったいないなー。


KAMRA の Deja Vu のソースコード

Deja Vu のソースコードを GitHub に公開しました。(というかもともと開発につかってたリポジトリを private から public に変えただけ)
ほんとに一番最初の実験コード、CLMtrackr つかってみるだけとか、MIDI データを読み込んで連携してみるとか、顔変形周りのうまくできてないやつとか、フルオープンでございます。

そんな全部みせんでえーんちゃう? って言われることもけっこうあるんすけど、こんな特殊な技術、自分の(会社の)なかにおいといてもなーんもいいことないし、そもそもこれを作るのに大量のオープンソースなものを利用してつくってるわけで、そのへんへのサンキュー的なフィードバックと、あとは、たぶん、これオープンにしたら喜ぶ人いるだろなーって、そんな感じ。

KAMRA のニューアルバムの Deja Vu のやつ

Deja vu | KAMRA

むかーしからお付き合いのある、いまもいろんなプロジェクトで関わることのおおい、福岡のサウンドプロダクション(っていう言い方にはちょっと収まらないけど)invisible designs lab、があらたに始めた "セレクテッド チャンネル"  invisi-dir 所属のアーティスト、KAMRA さんのニューアルバム "Artificial Emotions" のリリースプロモーションとして、ミュージックビデオつくりました。インタラクティブなやつ。(制作チームのクレジットこちら

インタラクティブつっても Webcam でパシャ―と写真とるぐらいなんだけど(写真アップロードでもできる)、顔認識系のインタラクティブなやつってこれまでにいくらでもあってそこだけ聞くといまさら感あるんだけど、気持ち悪い感じもあったりの演出なので好き嫌いあるとおもうんだけど、WebGL でごりごりやりすぎたので PC オンリーなんだけど、この一ヶ月で 230 時間以上(WakaTime 計測)かけてフルコミットで作ったやつなので一度ご覧あれ。(めんどかったら音だけ聞くCD だけ買う、でも可w)

# WakaTime、自分の稼働がみれておもしろい。ラスト週は週間プログラミング時間ランキング、最高位 2 位までいったw。いっしょにやってたいぶくんも 4 位。(このスクショはちょい後でとったやつ)

・・・

こういうどこまでも盛れる系案件は、終盤、公開日が迫って時間が徐々になくなっていう中で、でも、あれもこれも組み込みたーい的なのがどんどん出てくるのを、できない時間ない無理ーつって切っていくのが、自分がボトルネックになってるように感じちゃって結構精神的につらい。自分がもっとできる人だったらできてるのにーって。(過去一番つらかったのは川村さんとやった androp "Bell" だけど。あんときは泣けた。)まー、どこまでいっても人間の想像するものを全て作れる技術なんて存在するわけないので気にすんなっていう話なんだけど。

・・・

技術的なとこは後日メイキングを書きますけど、顔認識 & トラッキングには CLMtrackr をつかっていて、CLMtrackr から出力された顔の特徴点と Cinema 4D から出力された顔のメッシュアニメーションを JavaScript でブラウザ上でがっちゃんこして、最終アニメーションが生成される仕組み。ソースコードは全部、初期の実験とかプロトタイプも含めて、GitHub 上に公開しまーす。(ただいま準備中)した