「俺がガンダムだ！」がついに実現 アニメのCGキャラになりきれる自作ツール「KiLA」が未来すぎる
「Perceptipn Neuron」（パーセプション・ニューロン）といえば、数百万円が当たり前の業界で、10万円台から買えるという価格破壊っぷりで話題になっているモーションキャプチャー機器だ。Kickstarterで出資を募って今夏に出荷が始まり、日本でも体験会が開かれる予定だ。
Perceptipn Neuron
さらに9月27日、そのNeuronを利用してリアルタイムアニメーションシステムをつくったという動画がniconicoに投稿された。名前はKigurumi Live Animator、略して「KiLA」。CGクリエイターのcortさんがディレクター、プログラマーのほえたんさんが開発というタッグで生まれたものになる。
Neuronを装着して……
CGキャラを読み込ませて動くと、体も指もきちんと追従してアニメーションしてくれる。
キャラを差し替えた際、3頭身のようなものでもきちんと動作が可能だ。
要するにCGキャラを差し替えて「俺がミクさんだ！」や「俺がガンダムだ！」を実現してくれる夢のシステムだ。モーキャプといえば、普通は業務用で数百万レベルしてしまうものだが、自作で安価につくり上げてしまったというのにただただ驚いてしまう。動画だけ見てみても、かなりの可能性をビンビン感じるが、一体どんな経緯で生まれたのか。cortさん、ほえたんさんのお二人にインタビューしてみました。
ボーマスが縁で知り合った2人の共同作業
——そもそもなぜKiLAを開発し始めたんでしょうか？
cort 生放送のアニメ「みならいディーバ」の現場で、声優さんにモーションキャプチャーをつけてリアルタイムでCGキャラを動かすシステムを見て、「スゲー！」と思ったことですね。ほしいなと思ったんですが、軽く高級外車1台分の費用がかかるので無理だなと。
——デスヨネー。
cort でも、現場をみたからこそわかった部分もあって「あれ、これって別のアプローチでいけるじゃん」と言うことで、柔軟かつフリーのUnityで開発しようと動き出しました。僕はプログラミングはさっぱりで、ブロック崩しのチュートリアルから始めて四苦八苦する様をニコニコ生放送で配信してたところに、ほえたんが登場して「やりましょうか？」と。で、今に至る。
——ほえたんさんとは、その生放送がきっかけで知り合った感じですか？
cort いやかなり昔のボーマス（THE VOC@LOiD M@STER、ボーカロイドカテゴリーの同人即売会）でたまたま隣のブースだったのが縁です。
——隣って（笑）
ほえたん うん、ボーマスが最初で、隣だっただけ（笑）。今はなきボカロの格闘ゲームを渡して遊んでもらって、それきっかけでcortさんの生放送のコミュニティーに入りました。
cort 僕はディーバの現場で得てきた案とできるだけのお金を、ほえたんは技術と時間をお互いに出し合ってつくりました。
——ほえたんさんは、なぜ協力を？ 元々、モーキャプに興味があったという？
ほえたん モーキャプは2005年3月に20万くらいのハードウェアを買っていろいろ試してたのですが、ぜんぜん使い物にならなかった。
——20万!! そんな安いシステムがあったのですね。でも要求には答えてくれなかったという。
ほえたん 2台のウェブカメラで計算するタイプでしたが、部屋が狭くて可動範囲が限られていた上、その精度も怪しかった。
——Neuronを知ったきっかけは？
ほえたん Twitterですねー。「PrioVR」のウワサを先に聞いたのですが、Neuronの方がよさそうなシステムなので、1つずつ注文したんですよ。
——おお！
cort 僕もKickstarterでPrioVRを2着注文してるけど、アレほんと完成するのかしらね？
——おお……。
ほえたん PrioVRを待っている間に出たのがNeuronでして、どっちが早く手に入るかわからなかったんですよ。予定ではPrioVRが先だろうと。
cort ね！
——じゃあ最終的にどちらで組むかわからなかったんですね。それで先行開発してたのすごい。
ほえたん 両方買った!! そしてはやくテストしたかった（笑）。
cort 実は2014年の10月に、Kinectの入力でそれっぽいことをやって動画を投稿してました。
ほえたん システムの基盤自体は昨年の9月9日あたりにはできていたのですが、2015年3月だったNeuronの出荷予定が8月頃まで伸びてしまったんです。デバイスが届かないため放置していて、今年の9月7日にUnity5用に最近作り直してて想像で制作を進めていました。
cort デバイスが届かないと研究が進められないですからね。
ほえたん 結局2015年9月19日、KickstarterのBacker（出資者）として、プレオーダーの人より先にデバイスを入手することができました。
cort ソフトの仕組みは単純ですもんね。
ほえたん はい。実物が来たらメインの仕事をしながら片手間で2週間もかからずに完成できました。
——早っ！
ほえたん CGモデルのサイズを気にしなくても動かせる「リターゲット」機能は想像でつくって、GOROmanさんのところに先に届いていたNeuronでその機能を試してもらったんです。それが正常に動作したので、「これはいけると」確信してNeuronを追加注文しました。
cort あと3着のNeuronはいつくるかなぁ（笑）
——合計4着も！
cort 壊れてから買っていたらどんだけ待たされるか分からないので。
聖衣（クロス）をまとうcortさん。黄金聖闘士ぐらいの強さがありそうである。
Oculus RiftやGear VRでも視聴できる
ほえたん KiLAのシステムは、ネットワークにも対応しています。つまり同じ画面を共有できる設計になっていて、複数のPCで同じ画面に登場できます。
——おお！ ネットワークというと遅延が気になりますが大丈夫でしょうか？
cort 反応の遅延は誤差の範囲ですが、フレームレートは15fpsに下がります。
ほえたん 15fpsですが、移動と回転は60fpsに補完してスムーズにしています。
——CGで遠隔共演できちゃうのはヤバイですね。ローカルのPCでは何fpsですか？
ほえたん ローカルは60fps設計です。
cort 視聴者モードのKiLAもあるんですよ。
——というと？
ほえたん 参加せず視聴だけのモードです。ひとつのディスプレーにさまざまな方向からのアングルを表示するマルチカメラにも対応していて、ビデオスチッチャー的に見ることもできます。
こんなイメージ。
——ネットワークというとサーバーを立てて運用してるんですか？
ほえたん いや、今は「Photon Cloud」を使っているのでサーバーレスです。
——Photon!! ってことは100人単位でも余裕で同期できそうですね。
ほえたん MMOと同じ原理なのでいけるはずです。あとは見る方でいえば、VRHMDをかぶって360度見るようにもできますよ。Oculus Riftはもちろん、Gear VRに対応させればお外で遠隔視聴できるでしょう。
——バーチャルスタジオに遊びに行って、アクターが操るCGを観客として見るみたいなこともできますね。謎の技術すぎてどういうことなの……。
ほえたん 通信使ってるのでどういう組み合わせにもできるんです。PC1台でもできるし、2、3、4……と何台でも運用可能です。同じ世界を共有できるんです！
——海外のVRチャット「AltspaceVR」以上に動けるSNSになるんじゃないですかね。
cort この写真は、ほえたん家とウチで通信して同一画面です。ボクの家はキネクトで入力してます。
ほえたんさん側がNeuron、cortさん側がKinectで接続してる様子。ノートPCでも動作するとのこと。
ほえたん なので、放送以外にも使えるシステムまでアイデア次第で目指しています。いろんなVR、AR、MRデバイスにも対応していきます。フェイシャルキャプチャーとか、「THETA S」や「HoloLens」にもね。
——すげー！
ほえたん 複数のデバイスに対応して動けば、同じバーチャル世界に入ってキャラを演じて共有できるんです。将来的にはキャラクターデータもインターネットで共有する予定です。アクターにVRHMDを被せて、自分が世界にいる感じにもできます（笑）
フリー版とビジネス版をつくる予定
——対応するファイル形式は何になりますか？
ほえたん 独自形式またはFBXです。自分でもFBXのエクスポーターとインポーターを開発してて、Unityのアセットストアで販売してます。
——おお。CG関連のソフトをつくられてるんですね。
ほえたん ランタイムで動かせて、NeuronもUnityで表示してるモデル毎でFBX出力できます！ エクスポーターにはNeuronのリターゲットシステムもおまけとして組み込んでいるのですが、その機能の素晴らしさに誰も気づいていない（笑）。このアセットを購入すれば、UnityでNeuronを使ってモデルをリアルタイムで自由に動かせるし、モデルデータとともにスキニングのアニメーション情報付きでNeuronで動いた情報を、そのままFBX形式で書き出せます。インポーターを使えば、それをそのままUnity上へアニメーション情報を持って行くことも可能です。
——つまりFBXのCGモデルをUnityに読み込んで、見た目そのままに再現できるみたいな？
ほえたん そうです。オートデスク製品の「DCCTools」にもFBXで対応してます。シェーダー情報は一度UnityでFBXで取り込んで、エクスポートすれば復元可能です。あとはオブジェクトの名前が変わらなければシェーダー情報は維持できます。
——KiLAもFBXのインポートに対応してますか？
ほえたん してますね。KiLAは実行時にいつでも外部ファイルのFBXを読み込んで表示できるんです。
——おおー。開発で一番ポイントとなったところって何ですか？
ほえたん 先ほどのネットワーク対応でどういう組み合わせでも使える汎用的なシステムと、あとはカメラ制御ですね。
cort カメラ機能はめちゃんここだわりましたね。従来のシステムでは、カット割を呼び出すまでそのカットがどういう絵になってるかわからなかったので、頻繁に画面見切れをおこしていました。そこを改善したかった。
ほえたん カメラがキャラクターに追従するモードもあります。相対モードというのがあって、キャラクター腰の位置を計算して、必ず前側や側面や後側をカメラで追うことも可能です。あとはFlowモードというのも予定していて、カメラを相対モードでつま先から頭へ移動というのも今後作る予定です。
——ひょっとしてこれはマルチアングルを全部録画しておいて、あとで動画編集ソフトとかでアングル変えて編集するみたいなことができちゃったりするものなんでしょうか。
cort その発想はなかった（笑）
——それができるなら、CGアニメのダンスPVをつくるのがスゴく楽になりそう。
ほえたん リモート側の画面だと15fpsなので、そこだけ我慢すれば実現可能ですね。全部フル画面でカメラ位置だけ違うというのはもうできてます。
——夢が広がりまくりですね。
ほえたん なんでもできる設計で、汎用性高すぎて想像すれば現実になるんです。いろいろなVR機器を見て、これは使えるなーと思ったらすぐに買って実装していきます。
——実際使ってみて、Neuronとの相性や精度はどう感じられました？
ほえたん 指はまだ調整したいです。30fpsに落ちるので、そこは手動でやる必要があるかなと思いました。
——これは商品化する予定なんですか？
cort フリー版とビジネス版の2種は出そうかなと。ビジネス版は企画毎に仕様が違ってくるだろうから受注生産になるのかな？
ほえたん フリー版はアプリ単体での起動、ビジネス版はUnityで直でカスタマイズする感じになります。両者では、演出の幅が変わってきて、ライブとかテレビ放送ではビジネス版のカスタマイズが必須だと思います。
cort CGモデリングなども必要になるので受注生産ですね。モデルがいなきゃKiLAは動けないし、Neuronの貸し出し＆オペレーターも必要なので難しいかと。自社でデバイス用意して社員にオペレーターさせますってなら、ソフト納品でもいいかも。
——絶賛お仕事募集中という。
ほえたん はい。お仕事依頼はcortさん宛てのメールまたはTwitterのDMでお願いします。
cort よろしくお願いしますー！
ヨロシクネー。
●関連リンク
・KiLA
・Perception Neuron
