MawariとKDDIが3月17日に実施した「mmWAVE DE VTuber presented by KDDI×Mawari ～凪乃ましろ スペシャル3Dトークライブ」。凪乃ましろといえば3D化のためのクラウドファンディングで673%という驚異的な数値でのゴールインが話題になったVTuberだが、リアルタイムで動いている彼女がARグラス上に表示され、来場者は会場を自由に歩き回って彼女を好きな場所から見れるライブを体験できた。
「VTuberが自由に動いたりトークする」というと、「それって普通の事なのでは？」と感じる方も多いはず。今回は、3Dアバターでリアルタイムで動いている事や、司会者とレスポンスを行うことの何がすごいのかなど、ちょっと未来を感じる部分をわかりやすくレポートしたい。
スペシャル3Dトークライブでは何が起きていたのか？
本イベントは「凪乃ましろがリアルタイムで動いているところを、自由に回って見ることができる」という点において、VTuberによるリアルタイム配信の可能性、拡張性を感じられるものになっていた。あくまでリアルタイムなので、事前収録されたコンテンツのアーカイブを視聴しているのではない。つまり、同じ時間をXREALごしに共有できるということだ。
この配信システムはMawariの独自のプラットフォーム「ARAWA」。クラウドサーバーで動きのデータを処理し、最適化したデータを各自のデバイスにミリ波で配信することで、端末側の負荷を抑えながら高精細・低遅延の体験を実現する。
イベントではARグラス「XREAL Air 2 Ultra」とauミリ波対応スマートフォンを組み合わせ、20人が同時に等身大アバターと同じ空間を共有することができた。
一見すると普通？ 20人同時体験の何がすごい？
クラウドサーバー、ミリ波など、わかるようでわからないものや聞きなれないキーワードもあるため、「凄そうだけど何が凄いのかわからない」という方も多いのではないだろうか。
まず注目したいのは、これが単なる1人向けデモではなかった点だ。担当者によると、Mawari側はこれまでもQuest3などを用いて客と演者による1対1での体験を手がけてきたが、今回はXREALとミリ波を用いることで、1人対20人の同時体験が可能になっている。
イベントは、現地で司会を務める声優・香坂侑と凪乃ましろとの軽快なトークを楽しむ内容になっていた。上記の写真のとおり、現地のテープで仕切られている中はなにもないように見えるが、XREALをかけると、凪乃ましろがいる。左下に映っているタブレットはXREALで表示される状況が映ったもので、現地のモニターにも表示されていた。
実際にXREALのレンズにカメラを向けてみると状況が伝わると思うが、XREALをかけることで凪乃ましろがそこにいるのを楽しめる仕組み。
上記の写真はモニターに表示されていた映像を撮影したもので、XREALをかけるとこのような状況を見ることができた。
体験していて印象的だったのは、音声と身振り手振りや口の動きの同期感は大きく崩れない、超低遅延を実現していることだった。しかも、一対多である。
1人も20人も大きな差はないのでは？ と思うかもしれないが、一対一の通信であっても逐一データのやりとりが発生しているため、それが20人になるということは、それだけデータ量も膨大になる。そのため、参加者ごとの位置情報をリアルタイムで更新し、その位置からの見え方をリアルタイムで処理するとなると、それなりに重いデータ量になっていく。
そうなると、表示がカクカクしたり、映像と音がずれていくと言う事になりがちだが、今回、現地にいる司会者とAR表示されている凪乃ましろの会話のやりとりを見ていて、身振り手振りなどに違和感を感じないレベルの低遅延を実現していたのは純粋に凄い。
今回、クラウドサーバーとXREAL間のデータの流れを「高速かつ大容量通信が可能」という特性を持つミリ波が担うことで、参加者はリアルタイムに動いている凪乃ましろを歩いて見てまわっても、遅延やフレームレートの定価違和感なく見る事ができた。
体験してみて感じたのは、こちらの言葉や身振り手振りが伝わらないのは少し寂しいということ。今回、ましろさん側からXREALを装着している人がどこにいるのかという情報は見えているというが、これがもっと双方向のものになれば、ファン冥利に尽きると思った。
とはいえ、ミリ波もまだまだ限られた場所でしか活用できない技術。通信技術の発達によって、私たちひとりひとりと、VTuberが現実空間側から一緒に過ごせる機会が増えればより楽しみが増えていく。
（TEXT by ササニシキ）
●関連リンク
・凪乃ましろ公式X
・Mawari公式サイト
・KDDI公式サイト