NTTドコモは6月29〜7月1日、東京ビックサイトにて開催された「第2回XR総合展 夏」に、バーチャルライブ・汎用映像送出システムの「Matrix Stream」を出展した。
生アニメ「直感×アルゴリズム♪ 3rd Season」でも利用しているシステムで、今回の展示では、ひとつのバーチャルタレントのライブを平面ディスプレイ／VR／ARという3つの異なる形態に送り出して、同時に体験してもらうデモを展示していた。
展示からかなり時間が空いてしまったが、キャラクターライブやメタバースといった今、盛り上がっているジャンルのアツい話題なので、背景も含めてまとめていこう。
●関連記事
・「直感×アルゴリズム♪ 3rd Season」生放送レポート VICON 32台、VR観覧・VRChat連携構想などの新システムに注目
初音ミクで生まれ、VTuberでも進化してきたキャラクターのライブ
日本において、キャラクターの音楽ライブはここ12、3年で試行錯誤されてきた分野だ。
大前提として、キャラクターを現実空間に生々しく出現させること自体が、生身のタレントに比べてお金や手間がかかるハードルの高い要件になる。
どんな機材を使って、現場でどう運用するのか？
映像はどうやって準備するのか？
多大なコストをかけて、きちんとお客さんを楽しませられるのか？
着ぐるみを使った子供向けのショーではなく、CGでオリジナルの見た目のままキャラクターに出てきてもらってライブをしてもらいたい。しかし、技術課題やその解決にかかるコストを考えると、「じゃあ歌手とか声優に歌ってもらった方が安いし早いじゃん」となってしまうのが普通だった。
そんな状況がボーカロイド・初音ミクの登場で一変する。
2007年8月の発売以降、彼女の歌声がニコニコ動画に多く投稿され、イラストや動画など創作の連鎖を産んで、彼女自体の人気を押し上げていく。そして自然と求められたのが音楽ライブだったが、彼女には「中の人」がいない。そこで暗くしたステージに透明なボードを立てて、ステージ後方からプロジェクターで光を当てるというやり方を主に利用して、2009年の「ミクFES’09（夏）」以降、「本人登場」のARライブを実現してきた。
もうひとつ転機になったのが、リアルタイムで動くVTuberの登場だろう。
VTuberは初音ミクにはない「魂」を持ったキャラクターで、視聴者からのコメントにキャラクターが反応してくれるのが面白さのひとつになる。ということは、ライブにおいても、MCなどできちんと対話している感覚がより求められるわけで、以前は完成した映像を流すのでよかったところを、モーションキャプチャーなどを使ってリアルタイムで対応する必要が出てきた（実際は必ずしもリアルタイムだけではないのだが）。
コロナ禍ということもあり、リアル会場のARだけでなく、オンラインライブというニーズも立ち上がる。有償のイベントだけでなく、VTuberの記念日にミニライブを行うという習慣も定着した。ほんの数年前までリアルの会場を借りて時間をかけて制作してきたキャラクターのライブが、今では毎週のように開催するまで頻度が高まっていることに改めて驚く。
ほかにも、ディスプレイ側としてもVRゴーグルが進化して、VRライブの可能性を広げてきた。
現実空間にキャラクターを召喚するのではなく、彼・彼女たちがいる世界に自分が会いにいく。そうして作り込まれた別空間で、キャラクターとの近さや、花火や炎など現実では不可能な演出を体感できるという新感覚の体験を提供できるようになってきた。それがVRのメタバースにおけるライブにもつながっている。
ニーズ、ハード、ソフト、ノウハウ──。そうしたキャラクターライブについての要素が積み重なってきたのが、2022年の今になる。
300本の照明もリアルタイムで操作！
前置きがめちゃくちゃ長くなったが、そんなキャラクターライブの歴史的な試行錯誤を「うるせ〜しらね〜全部入れたるわ！」と男気統合してしまったのがMatrix Streamになる。
そのルーツは、NTTドコモが2020年3月、5Gのローンチと合わせて開催したバーチャルライブ「以心伝心有灵犀-Borderless Live 5G-」の為にmonoAI technologyと開発したバーチャルライブシステムにある。
その後、NTTドコモ社内で検討を重ねて、「バーチャルキャラクターが世界最高のライブを実現できる舞台を用意する」という目的でコンセプトを刷新。
リアルタイムレンダリングかつキャラクターを魅力的に表現するために独自シェーダーを開発したり、多様なXRプラットホームでバーチャルライブを実現させるためのマルチバース連携機能を追加したり、VR空間内の通信エンジンを改良したりと、NILLと共同で2年かけて0から作り直したという。
使われ方としては、先の取材記事でも触れたが、VICONを利用したモーションキャプチャースタジオでキャラクターの動きを取得。Matrix Stream上でキャラクターに反映して、CGのステージを照明などを調整した上で映像を送り出し、PCやスマートフォンといった平面ディスプレイ、リアルの会場のAR、VRゴーグルという3種でライブに参加してもらえる。
XR総合展では、壁面のテレビ、ARのマイクロステージ、一体型VRゴーグル「Oculus Quest 2」という3種類で「直感×アルゴリズム♪ 3rd Season」の登場キャラクターであるTacitlyのライブ映像を出力していた。
この中で注目したいのはマイクロステージだろう。過去には初音ミクのライブや横浜にあったDMM VR THEATERなどでも採用していたTxDの「Eyeliner」という投影システムの縮小板となる。VTuberの分野でも「GEMS COMPANY」などがライブをしていたので、実際に見たことがある人がいるかもしれない。
具体的には、底面に寝かせたディスプレイで表示しているものを斜めに貼られた透明フィルムに反射させ、中空に映像が浮いているように見せる「ペッパーズゴースト」の仕組みになっている。透明フィルムの後ろにもう1枚ディスプレイを置いて、背景映像を流して、キャラクターを立体的に見せるという使い方も可能だ。
通常のEyelinerはライブ会場のステージに合わせた大きなサイズになるが、XR総合展では1mほどの卓上に置ける「マイクロ」なサイズで展示していた。より設置が楽なので、店頭や展示イベントなどでキャラクターライブを見せる用途にも使えるだろう。
照明機器を制御するDMX信号に対応しており、リアル／バーチャルの照明を連動できるというのも特徴のひとつになる。XR総合展では、照明コントローラーを用意して、その場で操作してバーチャルライブ側にリアルタイムで反映できるというデモを実施。ちなみに今回は300本のバーチャル照明を入れており、リアルで用意しようとすると2億円相当かかるそうだ。
そしてMatrix Streamは、今回のデモのためにつくられたわけではなく、「直感×アルゴリズム♪ 3rd Season」の基幹システムとして運用しているところもポイントが高い。
だいたい月1回実施している生放送に加えて、音楽ライブや、日本とアメリカをつないでのトークイベントなど、リアル会場でも利用してきた。当たり前だがシステムはつくっただけではうまく機能せず、結局はトラブル回避などのノウハウや、チームの練度が必要になってくるのだ。
チームという話でいうと、制作に関わっている人材の熱量も興味深い。筆者が知っている範囲だけでも、例えば、プロデューサーである副島義貴さん自身がアバターの姿を使いこなしており、以前、Tacitlyをオンライン取材した際、普通にアバターの姿で副島さんが現れたことに驚いた。VRライブ制作を担当しているNILLの清水祐輔さんも、過去にVTuberグループの技術面を担当していた人物で、今でもARライブにおけるライティングを研究するために、自宅（！）に先のEyelinerのマイクロステージを導入するという常軌を逸した試行錯誤を行っている。
苦労は必ずしも成功の必要条件にならないが、打率を上げるには日常的なトライ＆エラーがあったほうがいい。もっといえばこの「直感×アルゴリズム♪」シリーズは、VTuberが流行る前の2014年、「みならいディーバ（※生アニメ）」から延々と続けているNTTドコモのR&D（研究開発）だ。決して「おっ、VTuberとかメタバースが注目されてるやん」という軽い気持ちで乗ってきたわけではなく、多大な才能・時間・お金をかけて構築してきたのがMatrix Streamというシステムになる。
この先、VRのスタジオと同じワールドをVRChat内に展開して、メタバース上で同時視聴することも視野に入れて開発しているとのことで、その進化が楽しみだ。7月27、28日にMetaが主催する「METAVERSE EXPO JAPAN 2022」にも出展予定とのことで、ますます注目度が高まるキャラクターライブの開催を考えている企業はぜひ注目して体験してみよう。
（TEXT by Minoru Hirota）