Saqoosha

  1. About
  2. Archives
  3. Search
  4. Say
Language:

絵作りのエンジニアリング

DemoDay.Tokyo #01 でしゃべったやつ、まんまアップしときますね。これ用にもっと細かいメイキングドキュメント(こんなん)を書き始めたんだけど、書き出したらぜんぜん終わらなくって中途半端すぎたので、とりあえずこっちだけ。

絵作りのエンジニアリング
https://paper.dropbox.com/doc/5NE9S8Q80Rs5uZfq1VZGV

追記)Dropbox Paper は同時閲覧者数に制限あるぽい? Forbidden とかで見れなかったらちょい時間おいてあとで。。。いい感じにかけるから好きなんだけどなー、まだベータ版だからかなー?

追記)アーカイブ映像が公開されたらしい。

KAMRA の Deja Vu のソースコード

Deja Vu のソースコードを GitHub に公開しました。(というかもともと開発につかってたリポジトリを private から public に変えただけ)
ほんとに一番最初の実験コード、CLMtrackr つかってみるだけとか、MIDI データを読み込んで連携してみるとか、顔変形周りのうまくできてないやつとか、フルオープンでございます。

そんな全部みせんでえーんちゃう? って言われることもけっこうあるんすけど、こんな特殊な技術、自分の(会社の)なかにおいといてもなーんもいいことないし、そもそもこれを作るのに大量のオープンソースなものを利用してつくってるわけで、そのへんへのサンキュー的なフィードバックと、あとは、たぶん、これオープンにしたら喜ぶ人いるだろなーって、そんな感じ。

KAMRA のニューアルバムの Deja Vu のやつ

Deja vu | KAMRA

むかーしからお付き合いのある、いまもいろんなプロジェクトで関わることのおおい、福岡のサウンドプロダクション(っていう言い方にはちょっと収まらないけど)invisible designs lab、があらたに始めた "セレクテッド チャンネル"  invisi-dir 所属のアーティスト、KAMRA さんのニューアルバム "Artificial Emotions" のリリースプロモーションとして、ミュージックビデオつくりました。インタラクティブなやつ。(制作チームのクレジットこちら

インタラクティブつっても Webcam でパシャ―と写真とるぐらいなんだけど(写真アップロードでもできる)、顔認識系のインタラクティブなやつってこれまでにいくらでもあってそこだけ聞くといまさら感あるんだけど、気持ち悪い感じもあったりの演出なので好き嫌いあるとおもうんだけど、WebGL でごりごりやりすぎたので PC オンリーなんだけど、この一ヶ月で 230 時間以上(WakaTime 計測)かけてフルコミットで作ったやつなので一度ご覧あれ。(めんどかったら音だけ聞くCD だけ買う、でも可w)

# WakaTime、自分の稼働がみれておもしろい。ラスト週は週間プログラミング時間ランキング、最高位 2 位までいったw。いっしょにやってたいぶくんも 4 位。(このスクショはちょい後でとったやつ)

・・・

こういうどこまでも盛れる系案件は、終盤、公開日が迫って時間が徐々になくなっていう中で、でも、あれもこれも組み込みたーい的なのがどんどん出てくるのを、できない時間ない無理ーつって切っていくのが、自分がボトルネックになってるように感じちゃって結構精神的につらい。自分がもっとできる人だったらできてるのにーって。(過去一番つらかったのは川村さんとやった androp "Bell" だけど。あんときは泣けた。)まー、どこまでいっても人間の想像するものを全て作れる技術なんて存在するわけないので気にすんなっていう話なんだけど。

・・・

技術的なとこは後日メイキングを書きますけど、顔認識 & トラッキングには CLMtrackr をつかっていて、CLMtrackr から出力された顔の特徴点と Cinema 4D から出力された顔のメッシュアニメーションを JavaScript でブラウザ上でがっちゃんこして、最終アニメーションが生成される仕組み。ソースコードは全部、初期の実験とかプロトタイプも含めて、GitHub 上に公開しまーす。(ただいま準備中)した

Inside “dotby.jp 2015”

dot by dot inc. も設立から 8 ヶ月たって news やら work やらが増えてきたので、ちゃんとそゆのを伝えられるように昨年末リニューアルしました。dotby.jp こちら。んで、みためシンプルなわりに作る上でいろいろなことがあったので、久しぶりに Inside "dotby.jp 2015" として技術的なもろもろをまとめましたー。

・・・

そして、わたくし Saqoosha 36 さい、そろそろ弟子をとろっかなーと思っています。弟子をとる、というとちょっと偉そうなのであれですけども、これまでモノ作る上で得たいろいろのノウハウがこのままだと僕が死ぬと消えちゃうので(まだ死なないけど)、そういうのを引き継いで発展させれるような人を募集したいなーと。Inside "dotby.jp 2015" とか "Case Study: Inside World Wide Maze" とか "独自ツールを開発しながら生み出した、インタラクティブMV制作の裏側" を読んでワクワクできる人なら適性あり。Saqoosha の手の内をもっとしりたい!一緒につくってみたい!という 20 代のあなた。いますぐ GitHub のアカウントを書いて [email protected] までご連絡をー。

Christmas experiments 2013

メリクリー。ひさびさにプライベートワークー。

UNIT9 所属の Interactive Developer、David Ronai 氏からのお誘いで Christmas experiments 2nd edition に参加しました。Christmas experiments ってーのはいわゆるアドベントカレンダーで、クリスマスまでの毎日、digital artist 的なひとたちがひとりひとつづつ experiment を公開していくってやつ。わたしは 12/17 たんとうで、 Jason Saragih の FaceTrackerEmscripten で JavaScript に移植してみるってのをやりました。こんなかんじ。


Live demo はこつら

FaceTracker で取得した顔の各ポイントをもとに、3D メッシュを再構築して、てきとうにひげをはやして、うそ物理シミュレーションっぽいことをしてみてます。3D メッシュ再構築は ofxFaceTrackerコードを拝借。Emscripten + asm.js やっぱすげい。速い。ネイティブよりはもちろん遅いんだけど、処理する画像サイズを 320x240 に小さくしたりグレースケール変換せずにグリーンチャンネルだけつかうようにしたりすると、Firefox 26 (on iMac Mid 2010) で 30fps で処理できる。Chrome も 31 から asm.js 対応したっぽくて、Firefox ほどじゃないけどまー動く。OpenCV もすんなり JS から使えるようになったので FaceTracker 以外にもいろいろできること広がった気がする。

ほんとはサンタの帽子かぶせてメリクリメッセージ入れてクリスマスカード的なのが作れるってーとこまでやりたかったんだけど、変なバグにひっかかっちゃって時間切れ。。technical experiment としてはまー成功したのでよしとします。技術的なバックグラウンドとかメイキング的なことはまた来週とかに書きまーす。

例によってソースは全部公開してありますのでどぞ。FaceTracker は非商用に限りフリーということなので、商用利用したい場合は別途おといあわせくださいー。