ヘルメット型ならVR対応も可能に？ FaceRig開発元が明かす展望
Live2Dは2日、日本工学院蒲田キャンパスにて、年次イベント「alive 2016」を開催した。360度の立体表現を可能にする新たなLive2Dモデル構築ツール「Euclid」の紹介や、ユーザーによるLive2D作品コンテスト「Live2D Creative Award 2016」の結果を発表した（関連記事）。
イベント中、FaceRigの開発元であるHolotech StudiosのCEO、Dragos Stanculescu氏により行われた講演「FaceRigとLive2Dによるアバターコミュニケーション」内で、Live2Dとの連携がFaceRigにもたらした変化や、今後のVR対応への課題など興味深い話を聞けたのでレポートしていこう。
FaceRig×Live2Dのコラボで2Dイラストになりきれる
FaceRigはウェブカメラを使って表情を追跡し、アバターにリアルタイムで反映できるというソフトウェアだ。利用に必要な機材はウェブカメラだけで、ソフトの設定も簡単。アライグマやサンタクロース、ミノタウロスなどさまざまなアバターが用意されており、気軽に「キャラクターなりきり」を実現してくれるのが特長だ。
例えば、自分の代わりにアバターを出現させた様子を撮影／編集してYouTubeなどの動画共有サイトに投稿したり、SkypeやTwitch、Google ハングアウトなどのビデオコミュニケーションサービスを利用する際にキャラクターになりきったりといった使い方を実現してくれる。開発元であるHolotech Studiosはルーマニアの企業で、FaceRigは2015年7月にPC向けソフト配信プラットフォーム「Steam」にてWindows向けとしてリリースされた。
一方、Live2Dはパーツごとに分けた画像データを基にキャラクターの動作、表情変化や立体的な表現を実現できるソフトウェアだ。通常、イラストなどは一方向からしか見られないが、本ソフトを用いると、2Dのキャラクターを笑わせたり、首を傾げさせたり、若干別の角度から見るといったことが可能になる。さらにHolotech Studiosが開発し、本体リリースより5ヶ月後となる2015年12月にSteamでリリースした「FaceRig Live2D Module」というプラグインを利用することで、ユーザーがLive2Dを用いて作成したアバターをFaceRigにて使えるようになる。
アバターソフトと、2Dイラストを立体化するツールというと一見関係なさそうにも思えるが、このコラボが大きくヒットしたため、今回、Live2Dの年次カンファレンスにHolotech Studiosが招かれることとなった（関連記事）。
Holotech Studios CEO、Dragos Stanculescu氏。2年前にFaceRigの開発を始めるまでの13年間、家庭用ゲーム機向けの開発を行っていた。講演のためルーマニアから社員数名と共に来日した。
講演ではじめに語られたのはFaceRigの生い立ちだ。もともとゲーム用のモーションキャプチャーをしていたDragos氏だったが、「キャプチャーしたモデルを画面で共有できるのは楽しい。高額なモーションキャプチャーの機材を使うことなく、同じことができるツールがあるべきではないか」「ゲームのキャラクターになりきって、ジョークなんかを飛ばすことができたら最高だろう」という想いから、FaceRigの開発に着手したという。その後、プロトタイプを作成し、クラウドファウンディングの「INDIEGOGO」で出資を募ったところ大変好評だったため、早期に改良してSteamでリリースできたという。
FaceRigは、ユーザーが作成したアバターをSteamのFaceRigページ内にあるワークショップにて共有できるようにしていた。しかし、3DCGを用いたアバターの作成は技術的難易度が高くてなかなか投稿が増えず、より容易につくれる2Dアバター用の開発キットが求められていた。Holotech Studiosとしてもさまざまな開発キットを検討したが、最も表情にこだわりがあって、何よりエディタが無料で公開されている点に着目して、Live2Dへの対応を決めたという。
そうしてFaceRig Live2D Moduleをリリースしたところ、見事、ユーザーの心をつかんでSteam ワークショップへのアバター投稿数は格段に増えて、今では3DCGよりもLive2Dで作成されたものが多い状況となっている。特にGOROman氏による「ゲーム実況用 FaceRig x Live2D x パッド連動システム」を筆頭とする日本のコミュニティからの反響が大きく、niconicoをはじめ様々な配信サイトで取り上げられた。世界的にもYouTubeで、有名なYoutuberに利用されるなど反響を呼んでいる。
そんな講演で、筆者として一番注目したのはFaceRigのVR対応状況だ。
現在、市場にはOculus RiftやHTC ViveをはじめとするさまざまなVRゴーグルが流通しているが、現状ではどれもFaceRigを対応させる条件を満たしていないという。というのも、これらの装置を装着するとFaceRigを利用するために必要な、眉毛の動き、まぶたの動き、黒目の位置、口の周りの筋肉、顎の位置などを検出することができなくなるからだ。
Holotech Studiosによる予想では、ヘルメットのようなVRデバイスになれば、対応することができるのではないかという。また、市場に流通していないVRデバイスのプロトタイプの中には対応できそうなものも見かけたことがあるというので、VRに対応した高品質なアバターコミュニケーションへの期待が高まる。
また、FaceRigは顔以外の追跡にも対応を予定している。これには、別途センサーなどを用いることになるわけだがDragos氏は「市販の全てのセンサーに対応していきたいと思う」と述べる。現時点で対応が予定されているデバイスのとして挙げられた具体的な製品は以下の4つだ。
・Leap Motion
・RealSense
・Kinect
・Perception Neuron
他に、携帯電話に搭載されているジャイロスコープなどが挙げられた。
意識せずに使えたFaceRig with Leap Motion体験
会場にはHolotech Studiosによる展示ブースも出展しており、FaceRigとLeap Motionによる手の動きを追跡してくれるコンテンツを体験できた。
表情に加え、キャラクターが手に持っている「ボンボン」を操作できるコンテンツ。
デモンストレーションを行うHolotech Studios社員。ノートPCの手前にLeap Motionが置いてある。
表情と手の動きに注目。
筆者はFaceRigの体験は初めてだったが、特に何も意識せずに表情を変えたり、手を動かしたりするだけで即座に認識、反映された。驚いたのは、瞬きさえも反映されることや、手の表裏を返すとボンボンも追従して回転する点だ。身振り手振りを交えたアバターコミュニケーションが普及するのも近いのではないだろうか。
今後の展開については、FaceRigを教育機関や医療機関で活用したいとの問い合わせもあるが、まずは家庭に普及させることが重要だと考えており、そのためにiOSとAndroid向けにモバイル版をリリースするという。
また、複数のキャラクターを同時に扱ったり、男声を女声にというような音声の変換を行えるように機能を追加する予定であるらしい。Dragos氏は、FaceRigの市場展開の理念として「容姿にとらわれることのないコミュニケーションを」「思い描いた動きをより安価に簡単に」と述べていた。今後の展開もぜひ注目していきたい。
（文／久道響太）
●関連リンク
・FaceRig
・Live2D
・alive 2016
