読者諸氏は韓国のNareMotionが企画＆開発している「NARE FACIAL TRACKER」をご存知だろうか。スタンドアロンのVR HMD（Quest 3/3S、Pico 4/4Ultra）に取り付けて使える、アイトラッキングと口トラッキングのデバイスセットだ。主にVRChatでの使用を想定している。
今回、この「NARE FACIAL TRACKER」のプロトタイプを入手できたので、セットアップと使用感をレポートしたい。このフェイシャルトラッカーは「Quest 3/3S用」「Pico 4/4 Ultra用」の２種類があるが、韓国からの輸送中の事故により「Quest 3/3S用」が破損したため、今回は「Pico 4/4 Ultra用」をテストした。
NARE FACIAL TRACKERの取り付け
パッケージを開けて本体を取り出すと、アイトラッキング用のモジュールが細いケーブルで本体に接続されている。本体には口トラッキング用のカメラが搭載されており、中央のアーム部分はPICO 4本体に固定するためのパーツだ。
まずはアーム部分の裏側に両面テープを貼り、PICO 4にアームを固定する。HMD上部にトラッカーを取り付けるための穴が空いているのが親切だ。
NARE FACIAL TRACKERをPICO4に取り付けたところ（外側） アーム部分の裏側には自分で両面テープを貼る
アーム部分をHMD本体の外側に固定したら、アイトラッキングモジュールをレンズの内側に設置する。磁石で固定するようになっているが、ちょっとした弾みで外れがちなので取り扱いには注意が必要だ。なお、筆者は裸眼のため、PICO4用の度付きレンズとの併用については検証していない。アイトラッキングのカメラはそれぞれの目に１つずつで、右目は右下から、左目は左下から目の動きを撮影する。
口のトラッキングを行うカメラが埋め込まれている本体部分にはバッテリーやWi-Fiモジュールなどが入っており、電源ボタンもこの本体の下部にある。
ハードウェアをPICO4に取り付けたら、後はソフトウェアのセットアップだ。現時点では韓国語での解説のみ公開されているので、このドキュメントをGoogle翻訳で解読しつつセットアップを進めた。詳細は元のドキュメンを参照して頂きたい。
必須環境①：スタンドアロンVR HMDとPCのストリーミングプレイ環境
NARE FACIAL TRACKERのデバイスで取得した動画からトラッキングデータをリアルタイムで生成するために、Windows PC環境と2つのアプリ（後述）が必須となる。そのため、スタンドアロンVR HMDも同じWindows PCからストリーミングでプレイする必要がある。PICO 4の場合は「PICO Connect」というアプリをヘッドセットとPCの両方にインストールし、無線もしくは有線で両方のデバイスを接続する。
必須環境②： 2.4GHz帯のWi-Fi
「NARE FACIAL TRACKER」のカメラで取得した目や口の動画をトラッカー本体からWindows PCに送信するために、２つのデバイスを同じWi-Fiに接続する必要がある。ここで注意が必要なのが、トラッカー本体が2.4GHZ帯にしか対応していない点だ。筆者の検証環境では6GHz/5GHz/2.4GHzが自動で選択されるメッシュネットワークを使用しているので、トラッカー本体とPCが2.4GHz帯だけに接続するようにWi-Fiルーターを再設定する必要があった。
必須環境③：「Baballonia」「VRCFaceTracking」のインストール
Windows PC側では「Baballonia」で動画からトラッキングデータを生成し、 「VRCFaceTracking」でVRChatのOSCにデータを送信することになる。この2つのアプリをインストールし、解説ページにある手順で設定を行えばNARE FACIAL TRACKINGがVRChat上で使えるようになる。
必須環境④：顔トラッキング対応アバター
筆者が使用しているVRChatのアバターは口のトラッキングに対応していなかったのでNareMotionの開発チームにおすすめのアバターを聞いたところ、「以下の投稿で紹介されているアバターでテストしてみるのがお勧め」とのことだった。参考にして頂きたい。
アイトラッキング＆口トラッキングの様子
「Baballonia」でざっくりとしきい値を調整し、VRChat内で顔トラッキングを試してみたところ、瞳孔の向き（左右）、まぶたの開けしめ（左右）、口の開けしめ、頬の膨らませ（左右）などがトラッキングできることが確認できた。視線や口の開き具合などトラッキングが甘く感じられる部分もあったが、時間をかけて「Baballonia」上でしきい値を調整すれば、改善する可能性がありそうだ。
Naremotionの開発チームによると、ハードウェア面では今回のプロトタイプから継続的に改善を行い、チュートリアルなども増やしていくそうだ。日本での発売も含め、今後の続報に期待したい。
（TEXT by にしかわ）
●関連リンク
・Naremotion（X）