360Channel、VRコミュニケーションシステム「FACE」の開発を発表　人の表情をアバターに瞬時に反映

2017年05月29日 15:102017年05月29日 15:11 PANORA 360°, レポート

360Channelは視線追跡型VRヘッドマウントディスプレイを装着し、視線や顔の動きを追跡して人のリアルな表情を瞬時に反映させる技術を用いたVRコミュニケーションシステム「FACE～Face And Communication Entertainment～」の開発を発表した。

「FACE」は研究開発段階とのことで、現在はこのシステムを作ってコンテンツを作るなど、協働を行える企業も募集している、とのこと。

「FACE」プロモーションビデオにはキズナアイちゃんの姿も。

まずはコロプラ・360Channel両社の社長である馬場功淳氏が登壇。コロプラグループがVRに力を入れているのはゲームへの応用だけでなく、他の用途にも使えることが考えられ、その中でも一番大きな要素がコミュニケーションであるとVR参入時から思っていた、と語る。それを象徴するかのように、FacebookやMicrosoftなどの“ビッグプレイヤー”がVRやMRを使ったコミュニケーションのシステムを発表しており、その考えは間違えていなかったと考えている。

コロプラでは基本的に自分たちで作れるものは作るが、そうでないものはお金を出して他社様に投資して作ってもらおう、という考えもあり、現在は100億規模のVRファンドを運営し、約40社に投資している。投資をするということは最先端の技術を見ることができる、ということであり、そこで、この会社の技術と別の会社の技術を組み合わせればコミュニケーションシステムが作れるのではないか、と馬場氏は気づいたという。

これが半年前。もちろん、今のVR業界の状況では似たようなシステムはいずれどこかが作るだろうと考えるが、投資する立場であるコロプラが各社のシステムを組み合わせてシステムを作ろう、と考えたのが「FACE」のスタートとなっている。

「FACE」の特徴として、目線・空間・表情の認識によりアイコンタクトなどのコミュニケーション手段が取れる、ということになる。馬場氏は発表ベースでは「FACE」が世界初、と語っている。ちなみにこのプロジェクトのスタッフはすべて若手（プロジェクトスタート時はリーダーの澤木氏含めて全員新卒！）で作られたというのも驚きだ。

なお、現状は研究開発段階、ということもあり、この状況での収益化は考えていないということ。まだまだ未完成な部分もあり、今後はこの発表の反応からフィードバックを受けて開発を進めていく方針だ。

今回の発表会で使われたシステム。FOVE 0にカメラを固定する形となっていた。

システムとしては視線追跡に「FOVE 0」を使用、フェイストラッキングにはBinaryVRのカメラを使用する。そうしてできたアバターの表情はHolotech Studiosのソフトウェアでアバターに反映させる。特注の物ではなく、民生品だけでそれを行っている、というのもポイントとなっている。表情だけではなく、視線や瞬きなどの情報をスマートフォンゲームなどで使われている通信システムを使用して多人数（現在は3名まで、将来的には4名まで対応可能としている）でのコミュニケーションを行える。

FOVEで視線を、カメラで表情をとらえてそれをアバターに反映させる。瞬きなどの細かいデータが多いため、現状3名までとなっている。

将来的には視線や表情をとらえることで感情を分析し、自動で評価するツールを導入したり、表情や目線を付けたアバターを使った360度動画などへの応用を予定している。

会場にはゲストとして株式会社FOVEの小島由香社長も登壇。FOVEはHMD内部のカメラで眼球の動きをとらえ、それで3D空間を自由に動けるVRシステムだ。近年はGoogleやFacebookもアイトラッキング技術の会社の買収に乗り出しており、技術の必要性が高まっている一方、ユーザーインターフェイス操作や視点外の描画の軽減化を行うレンダリング技術といった機能的なものにフォーカスが当たっていた。

しかし、FOVEは創業時から目と目を見て会話するVRでのコミュニケーションを目的としてVR HMDの研究開発を続けており、人間の右脳的な部分・感情表現が視点追跡のキラーになるのではないか、と小島氏は話す。

小島氏は「FACE」の開発でアバターの眼球を動かしてアバターを通じて目と目が合うVR体験が初めて実現できた、これが私たちが実現したかった世界とも語る。

360Channelのプロジェクトリーダー・澤木一晃氏とプロデューサー・中島健登氏、そしてFOVE小島氏を交えたトークセッションを開催。開発中、澤木氏は美少女アバターを使っていたそうで、小島氏とのやり取りをそれでやった結果、澤木氏の中の美少女ぶりが曝け出された!?という衝撃発言も飛び出した。

実際にいろいろなキャラクターを体験できるデモと３人同時でチャットやバーチャル旅行が楽しめるデモセッションも行われた。FOVEでは眼球の動きや瞬きの動作チェックをし、BinaryVRのカメラでは表情のチェックを担当、これによりキャラクターに表情を付けることができる。ただし、BinaryVRのカメラでの機能的な限界、たとえば“口をすぼめる”といった動作はほとんど取れないなどの制約がある

。また、キャラクターのデザインによっては眉を動かすなどの表情のつけ方が難しい、という難点もある。前者はカメラの技術の進化を待たないといけないが、後者はキャラクターデザイン側でなんとかできそうなのでそう心配することはないだろう。

３人でのチャットセッションはVR空間を自由に動き回れるシステムになっており、その中で目線を合わせたり、といったことが可能。また、背景もCGだけでなく、360度動画に変えることができ、そこで写真を撮ってシェアすることも可能だ。

三面鏡を出して自分の表情をチェック。アバターはFaceRig（HoloTech）のもの。