1月8日（水）～9日（木）に開催された「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」（以降、「実証実験イベント」）。にじさんじ所属のバーチャルライバー加賀美ハヤトさんの出演したこのイベントでは、新開発のリアルタイムMRライブシステムによるトークと音楽ライブが実施。ゲネプロを取材した筆者は、その内容に衝撃を受けました。
2月26日（水）には、システムを共同開発したANYCOLOR株式会社と株式会社stuが、新技術に関する解説も含むプレスリリースを公開（ ANYCOLORプレスリリース、stuプレスリリース ）。その内容も踏まえながら、まさに「魔法のような、新体験」だった「実証実験イベント」をレポートします。なお、加賀美さんが映っている写真は、すべてヘッドマウントディスプレイを使用した時に見える映像を撮影した公式写真です。
新開発のMR技術を使ってステージで鏡開き
2日間で全5公演が開催され、チケット抽選に当選した幸運なにじさんじファンが参加できた「実証実験イベント」。我々、メディア関係者が取材したのは、本番前に同じ会場、同じ条件で行われたゲネプロでした。本番同様、並んで会場に入場し、並べられた椅子に着席。客席は、ステージ中央から伸びる花道を挟んで左右に10席ずつ。1回の公演に参加できるのは20人だけという激レアなイベントです。ステージの中央には大きく「寿」と書かれた鏡開き用の酒樽があり、それを挟んで二つの丸椅子が置かれています。
また、ステージの前端と花道には、全部で4個のモニタースピーカー（ステージ上の演者へ向けて鳴らすスピーカー）が並び、ステージ奥には、4個のムービングライト（照射方向を操作できる照明）も設置された音楽ライブ仕様。事前に公開されていたイベント内容に関する情報は、開催告知のリリースに書かれていた「本イベントは、現在当社にて開発中のMR(複合現実)技術を用いて、ヘッドマウントディスプレイを着用しながらお楽しみいただきます。にじさんじ所属VTuberと現実空間を融合させた特別なイベントを一足先にご覧いただけます」ということだけでしたが、期待どおり加賀美さんのライブも観られそうな予感です。
ステージに、にじさんじ主催ライブの事前放送などでもお馴染みMCの百花 繚乱さんが登場。繚乱さんの案内やステージ奥のスクリーンに上映される動画に従って、椅子の下に一つずつ置かれていたヘッドマウントディスプレイ（Meta Quest3）を装着。コントーラーは用意されておらず、参加者が何かの操作をすることはないようです。装着の際には、左右の客席エリアに2人ずつ程度のスタッフが付きサポートをしてくれました。今回の参加者は、さすがメディアの人間ばかりということで、ヘッドマウントディスプレイの装着もスムーズ。ニット帽とメガネの上から装着した筆者が一番手間取っていたかもしれません。
そして、イベント（のゲネプロ）が始まり、繚乱さんの呼びかけに応えて、加賀美さんがステージに登場。新年になったばかりということで、「お正月」をお題にしたトークが始まります。ステージに現れたところから自然だったので、驚くタイミングを逃して普通に観ていたのですが、いつもモニターの中で観ている「バーチャルライバー加賀美ハヤト」が、さっきまで肉眼で観ていたステージに立っていました。
繚乱さんと会話している時も声はもちろん、目線の移動やリアクションにもラグを感じません。ステージの床への接地や影の落ち方も自然。VTuberという文化を愛する者としては、少し興ざめでもある行為なのですが、取材だということを思い出し、ヘッドマウントディスプレイを少しだけずらして現実世界を覗き見たところ、ステージに立っているのは、繚乱さんだけでした。その状態でも加賀美さんと話しているようにしか見えない繚乱さんは、さすがです。きっと脳と眼球がMeta Quest3並に高性能なのでしょう。
2人は、鏡開きのための木槌を一本ずつ手に取り、「なかなかライブハウスで木槌を持つ人いないですよね」「あんまりないかもしれない」などと話しながら酒樽の近くに移動。鏡開きらしく「せーの、よいしょ」という掛け声に合わせて酒樽の蓋を割ろうという話になりました。繚乱さんは、メディア関係者が座る客席に向かって、「皆さんも『よいしょ』の声出しをお願いしていいですか？ 『声出しさせられた』とか（記事に）書いていただいて構わないので（笑）」と声をかけます。加賀美さんの「では、お声を拝借いたします。せーの！」という声に合わせて、客席の我々も一緒に「よいしょ！」。加賀美さんはステージに向かって右側から、繚乱さんは左側から同時に木槌を振り下ろし、縁起物の行事である鏡開きを成功させました。
「共同開発イベント」後に公開されたプレスリリースによると、生身の身体の繚乱さんとバーチャルな存在の加賀美さんがステージに並んでリアルタイムの掛け合いを行い、我々もそれをリアルタイムで観ることができたのは、にじさんじの運営企業であるANYCOLORと「エンターテインメントの再発明」をミッションに掲げる企業stuが共同開発した新開発の伝送システムのおかげ。「ライバーの動きや照明等の演出信号を、複数台のヘッドマウントディスプレイやスマートフォンに低遅延で伝送する必要」があるため、それまで開発を進めてきた「VTuberライブに特化した独自のデータ圧縮手法を基にリアルタイムでMRライブが可能な伝送システムを新たに開発」したそうです。
新技術のテストパイロットが「わたくしで良かった」
VTuberと生身の人間が一緒に行う鏡開きという恐らく世界初のイベントを終えた2人は、椅子に着席。会場に入った時から背の高い椅子だなと思っていましたが、身長182㎝で8頭身とスタイル抜群の加賀美さんが腰を掛けると高さはぴったり。椅子に座り膝を曲げ、椅子の支柱から伸びる足掛けに奇麗に足を置く加賀美さんが、すぐそこのステージ上に実在するように見えている自分の視覚に驚きっぱなしです。
トークコーナーは、事前に用意された5つのテーマ候補の中から客席に選んでもらったお題で、加賀美さんが話してくれるというシステム。客席のファンとリアルタイムでコミュニケーションを取ろうという「実証実験イベント」の狙いも伝わってきます。
最初に選ばれた「2024年一番がんばった話」では、大人気なことに加えて、後輩に対する面倒見も良い加賀美さんの超多忙な日々が語られました。2つ目のテーマに関しては、加賀美さんから「1番から5番（の内容）じゃなくても良いですよ」と提案があり、筆者の後方に座っていた記者から「今回の実証実験に参加することになったときの感想は？」というナイスな質問。加賀美さんは、「本当に率直な感想で良いですか？」という前フリの後、ガンダム好きにしか分からないであろう例えで答えます。
「ロボットアニメの新型機のテストパイロットになった気持ち。ガンダムの機体で『NT-1アレックス』っていうのがいるんですけど。その機体に振り回されまくったクリスチーナ・マッケンジーっていうキャラクターの気分でした（笑）」
「機動戦士ガンダム0080 ポケットの中の戦争」のモビルスーツとキャラクターを使った例えで、筆者は声を出して笑ってしまったのですが、客席全体の反応はいまひとつ。アレックスは、その後、宇宙世紀のモビルスーツの標準装備になっていく全天周囲モニターのプロトタイプを最初に採用した機体で、クリスは、そのテストパイロットなので絶妙な例えだと思ったのですが……。
繚乱さんは、会場の反応を察したのか、「もう少し噛み砕いたバージョンでもいただいても良いですか？」とリクエストします。すると加賀美さんは、「他にないかな……。トールギス？」と笑いながら「新機動戦記ガンダムW」に登場するモビルスーツの名前を回答。客席のどこかから納得する様な大きな相づちが聞こえてきました。確かにトールギスは、アフターコロニーのすべてのモビルスーツの始祖的な立ち位置のテスト機ですが、筆者は、さらにマニアックな例えになった気がしました。世代の違いか？
その後、加賀美さんは、少し真面目な口調になり、にじさんじが新しい挑戦をするための技術のテストパイロットに選ばれて嬉しいという気持ちを語ります。また、この「実証実験イベント」は、準備期間を含めた拘束や稼働の時間が非常に長かったらしく、そういった諸々の条件を考えて「わたくし以上の適任はいないかもしれない」「わたくしで良かったなという気持ちがあります」とも答えました。にじさんじの発展に繋がる実験への協力に前向きな気持ちと、他のライバーには負担をかけたくないという加賀美さんの強い利他的な精神が伝わってきます。パイロットへの負担が大きいのであれば、トールギスの方が良い例えだったかもしれません。
レアなセトリで加賀美社長のミニライブも開催
トークパートの時間が終わり、次のパートへ進行しようとする繚乱さんと、とぼける加賀美さんのやり取りを経てライブパートへ。一旦、ステージから退場した後、所属ユニット「ROF-MAO」の衣装に着替えて登場した加賀美さんは、「ROF-MAO」の「DiVE !N」を熱唱。さらに、「ROF-MAO」のメンバー甲斐田晴さんの1stシングル「透明な心臓が泣いていた」を披露しました。そして、最後の3曲目には、2023年5月から無期限活動休止中の先輩ユニット「Rain Drops」の代表曲「VOLTAGE」をカバー。取材で聴くことが申し訳ないくらいのレアで熱いセットリストでした。
イベントが始まりステージに登場した時から、ずっと「そこにいた」加賀美さんの現実世界への実在感は、ライブパートでも変わりません。花道を含めてT字型になっているステージを動き周りまわり、時に客席を覗き込むようにしながら歌い続けます。特に驚いたのは、モニタースピーカーを片足で踏みながら歌い始めたこと。
椅子に座った瞬間もそうだったのですが、現実世界のステージに置かれているモニタースピーカーに、バーチャルな存在の加賀美さんが干渉しているように見えることで、実在感はさらに増しました。リアルライブのボーカリストがよく観せる動きだからというのも、実在感アップの理由だったかもしれません。
これまでにも「バーチャルキャスト」や「VARK」（現在はサービス終了）などのVRサービスとヘッドマウントディスプレイを使って、VTuberと同じ空間にいる感覚を体験したことはありましたが、それらはすべてバーチャル側の空間での体験。現実世界で、ここまではっきりと「今、同じ空間にいる」と感じられたのは初めてでした。
また、ステージの照明演出も「実証実験イベント」のミニライブとは思えないほど華やか。気づいたときに驚いたのが、現実世界のステージには4個しかなかったムービングライトが、ヘッドマウントディスプレイで観るステージでは倍の8個に増えていたこと。現実の照明とバーチャルな照明の両方がステージや加賀美さんを照らすのですが、明暗の変化や影の入り方なども違和感はまったくありませんでした。
プレスリリースによると、このライブも新開発された技術の成果。「ライブイベントを想定した（実写とCGの）合成を行うためには、ステージ美術とキャラクターの前後関係を正確に表現しながら、リアルタイムの照明演出を反映させる必要があります。しかし、従来のAR/MR技術ではこの表現が困難」だったということで、「Meta Quest3の基本機能をベースにした新たな機能を開発し、物理空間と音・照明が連動したVTuber専用のMR合成システムを開発」したそうです。
さらに、「一般的な会場は無線で大量の端末にデータを送受信できる設計にはなっておらず、リアルタイムでMRコンテンツを提供するにあたり障壁となっていましたが、大量のデータを安定して伝送するために、会場のネットワークインフラから再設計」を実施。「リアルタイムMRライブに最適なネットワーク機材を導入し、データの流れを最適化。オペレーターの負担を軽減しながら、安定したデータ配信を実現」できました。
VTuberの可能性をさらに広げるMR技術
「実証実験」として開催された今回のイベント。「実験」の技術的な課題について感じたのは、何度かCGと実写の微妙な位置ズレが発生していたことと、イベント終了後に行われたAndroidスマートフォンによる視聴実験では、ヘッドマウントディスプレイ使用時ほどの実在感は得られなかったことくらい。前者は、MRライブの視聴体験を損なうほどのものではなく、後者は、機器の違いとして当然のことでしょう。Meta Quest3での体験がすごすぎる。貴重な体験をできた一人として思うのは、やはり、さまざまなライバーやもっと多くのファンに、このリアルタイムMR技術を活用したライブやイベントを体験して欲しいということ。
花道のすぐ横にある席で、目の前を歩き、目が合うほどの近距離で熱唱している加賀美さんを観ている時、少し心に浮かんだのは「加賀美さん推しの人に申し訳ない」というどこか後ろめたいような気持ち。加賀美さん推しの人がここにいたら、きっと感動して泣いてしまうだろうと思うくらい実在感の濃い体験で、実際、ゲネプロ後に行われた本番の様子を会場後方から見学した際、鞄に加賀美さんグッズを付けていた女性が、ライブの途中、涙を拭いていたようにも見えました。
ANYCOLORのプレスリリースの最後には、以下のような楽しみな文章もあります。
「本イベントで実証実験した技術は、ライブのみならず、ゲーム、展示会、テーマパーク、ショッピングモールのイベントスペースといった様々な場所で応用が可能です」
次の「実証実験イベント」の予定などは公開されていませんが、今回の「実証実験イベント」には、「ver.2025.01」というバージョン表記もあります。今後もバージョンが更新されて、やがて「実証実験」ではない様々な形のイベントで、もっと多くのにじさんじファンと一緒にあの「魔法のような」体験をできる日が来ることを願っています。
今回の「実証実験イベント」の1公演20名というキャパシティは、短時間ですべてのお客さんにヘッドマウントディスプレイを正しく装着させることなどイベント運行上の上限だったのか、リアルタイムMRライブの安定したデータ配信を実現する上での技術的上限だったのかは、分かりません。
ただ、きっといつかは、もっと大きな会場で大勢の観客を前にした、複数のライバーによるリアルタイムMRイベントなども実現できるはず。推しの一人が加賀美さんと同期なので、SMCイベントなんて観られたら泣く自信はあります。
©ANYCOLOR, Inc.
（TEXT by Daisuke Marumoto）