情報通信研究機構（NICT）のユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術「REXR」（Realistic and EXpressive 3D avataR：レクサー）を開発したと発表した。
本技術では、多数のカメラや特殊なセンサーは不要で、カメラ1台の映像から身体の3D形状・テクスチャー・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功したという。
現状の3Dアバターは、あらかじめ用意したCGキャラクターを用いることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていない。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサーを用いる必要があり、導入のハードルが高かった。
REXRでは、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現する。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディーのモデルを構築。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新される。そして、刻々と変化する本人の表情や身体動作を、この3Dアバターを用いてさまざまな方向から再現・表示できる。
REXRを用いることで、本人が表出する細やかな表情（微表情）や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、微妙な感情変化・意図といった心の機微を、これらの非言語情報から読み取ることが可能だ。
REXRを仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化を図れる遠隔コミュニケーションの実現が期待される。
今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上（3次元形状の正確さや動きの滑らかさなど）や処理の高速化（リアルタイム対応）を可能にする技術開発をさらに進めていく。
また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF（超臨場感コミュニケーション産学官フォーラム）のXR遠隔コミュニケーションWGなどとも連携して、本技術の社会展開に取り組んでいくとしている。
＜国際会議における発表＞
【会議名】IEEE Conference on Virtual Reality and 3D User Interfaces （IEEE VR 2022）
【開催期間】2022年3月12日（土）～16日（水）
【タイトル】Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence
【著者】Michal Joachimczak, Juan Liu, Hiroshi Ando
●関連リンク
・国立研究開発法人情報通信研究機構（NICT）