エピックゲームズ ジャパンは25日、同社が扱うゲームエンジン「Unreal Engine」についての勉強会「UEなんでも勉強会 – バーチャルライブ編 – vol.1」を開催した（ニュース記事）。
今回はバーチャルライブがテーマで、VTuberプロダクション「ななしいんく」が2023年5、6月に開催したバーチャルライブを具体例に制作手法を語っていった。
登壇者は、ライブ制作を主導した「MMT・REZ&」よりREZ&のCo-Founder／ディレクターのNOBUAKI KAZOE氏、ライブで使用したVRM4Uプラグインの開発者である山本治由氏、Leon Gameworks代表の遠藤俊太氏という3名だ。オンライン配信のアーカイブやスライドはネットで公開されている。
技術者向けに役立つ情報はおそらくCGWORLDさんなどの他誌が細かく書いてくれるはずなので、PANORAではVTuberのファンや、CG業界に興味があるという方々に向けて、この勉強会を理解するための基礎となる前提知識をまとめていこう。なお、下記インタビューもぜひまとめて読んでおいてほしい。
・ななしいんく・龍ヶ崎リン、1stソロライブ「Garnet Moon」ロングインタビュー 今は「始まったな」という気持ち
バーチャルライブ制作は大変です
VTuberのライブというと、ステージ上に立てたLEDや透明ボードに姿を映し出すARライブもあるが、今回のバーチャルライブはステージや照明などを含めてすべてCGで制作し、オンラインで配信するという形態になる。
リアルのARライブと同様、バーチャルタレントにステージに立って歌ったり踊ったりしてもらい、舞台装置を動かして照明などで演出して、その様子を複数のカメラで撮影する──。
バーチャルライブを1行で説明するとそんな感じになるのだが、実現まではいくつものハードルがある。
具体的にビジュアル面に関していえば、表現したいこととPCの処理負荷との戦いになる。
例えば、3Dモデルのポリゴン数だ。VTuberの姿（3Dモデル）や舞台装置はすべてCGでできており、拡大していくと三角や四角の面（ポリゴン）の集合体であることがわかる。人体の丸みなどの細部をきれいに表現しようとするとこのポリゴンを増やすことになるのだが、一方で「ハイポリ」なモデルは動かすときに膨大なメモリーが必要になり、PCのスペックが低いとカクついてしまうという難点がある。場合によっては、モデルに手を加えることも必要だ。
さらにこの3Dモデルに光を当てると、PCへの負荷が高くなる。自分の生活を想像してもらえばわかるように、人間の周りには太陽や照明器具など光源がいくつもあり、それが屋内外にある物質にあたって反射したり吸収されたりしている。
CGの世界も同様で、例えばバーチャルライブならワールド自体や背景のLED、照明などから発される強弱な光がタレントや舞台装置にあたって、色や陰影の変化を作り出している。この光と陰の計算の負荷も高く、求めるクオリティーのためにどこを節約するかなどの調整が必要だ。
加えて、ライブならではのリアルタイムというハードルがある。今回の勉強会でも話にあがっていたが、VTuberのライブは、
①収録型：前録りした歌やモーションをもとにデータを書き出しておいて現地で再生
②半収録型：MCやナレーション、一部の歌がリアルタイムで、あとは事前に書き出したデータを再生
③リアルタイム型：全編を通してリアルタイム
という3段階に分けられる。もちろんライブなのだからリアルタイムで出演するのが望ましいものの、先のCGで表現したいことの負荷が高くて「事故る」リスクが高かったり、ステージのクオリティーを担保したかったり、出演人数が多くて予算内で広いモーションキャプチャスタジオが借りれなかったりなど、さまざまな理由で収録が選ばれることもある。
ハードルはまだまだあって、ソフトウェア間やバージョン違いによって読み込んだはずのモデルがきちんと再現されなかったり、モデルの作り方や謎のバグだったりで光の当たり方が意図したものにならなかったりと、作っていくうちにぶち当たる壁も多い。
そうした要件をすべてクリアーして、万全と思われる状況で迎えた本番でも、「現場に潜む魔物」によって謎の機材やネットワークトラブルが起こって進行が止まってしまうこともある。めちゃくちゃ胃が痛い話だが、「こんなこともあろうかと」と先読みしてスペアを用意しておくのも当たり前だ。
すべては本番でステージに立つVTuberさんのために──。
いいバーチャルライブは、メインであるVTuberだけでなく、その裏側にいる職人の丁寧な仕事によっても成り立っているということも知っておいてほしい。
フォトリアルな表現に定評があるUE
さらに勉強会の大元であるゲームエンジン・Unreal Engine（UE）についても簡単におさらいしておこう。
ゲームエンジンとは、その名の通りゲームを作るためのソフトで、現状ではUEとUnityが二大巨頭として利用されることが多い。
UEはフォトリアルな分野が得意と言われており、もともとは開発元のEpic GamesがFPSゲームを制作するためにつくったものになる。ゲームエンジンとして他社に開放して以降、表現力の高さで注目を集めて、今ではゲームだけでなく映画やアニメ、テレビなどの映像制作にも使われることも珍しくない。
文字でプログラミングするのではなく、パーツ（ノード）を線でつないで機能を定義していける「ブループリント」という仕組みや、制作に役立つアセットが買える「マーケットプレイス」でイメージに合いそうな3Dモデルやサウンド、アニメーション、エフェクトなどを入手して開発を加速できる……というのも特徴だ。
VTuberに近いジャンルで言えば、iPhoneを使ってデジタルヒューマンの表情を制御できる「METAHUMAN」などもUEの関連ソフトだ。メタバースとしても名を馳せているオンラインゲーム「フォートナイト」もEpic Gamesの製品で、メタバース空間のクリエイティブツール「Unreal Editor For Fortnite」（UEFN）を今年3月にリリースしたことでも注目を集めている。
……といった前提知識があった上で、勉強会のスライドを見ると、内容の価値がより身近になるはず。
最初に登壇したNOBUAKI KAZOEさんは、クリエイティブチーム「MMT・REZ&」にて、星街すいせいさんとTAKU INOUEさんのユニット「Midnight Grand Orchestra」による1stライブ「Overture」や、キズナアイさんの「Kizuna AI Virtual Fireworks Concert」などを手掛けてきた。
実際の制作フローについては、スライドの13ページあたりから解説しており、主にワールド制作とライティングの2種類について語っている。
ワールドについては、「神聖さ」や「教会」などのコンセプトをもとに、空間の雰囲気が確認できるシルエットを作り、祭壇やななしさん像などのアセット（この場合は3Dモデル）を置いて、ライティングを調節していく──といった過程を踏んで、理想に向けてイメージを詰めていっている。
ライティングについては、セットリストや演出、ライトの配置をもとに、ワールドのディレクターと相談しつつデザインを詰めていった。「DMX」というリアルのムービングライトを制御する規格に合わせて灯体（照明装置）のアセットを自作し、DMXプラグインを使ってブループリントで動かすというワークフローもポイントだ（参考動画）。
この内容を踏まえた上で、VRMモデルをUE上でセットアップする方法は山本治由氏、DMXについてはLeon Gameworks代表の遠藤俊太氏の公演を聞くとより理解が進むはず。
勉強会を通じて感じたのは、決められた期間で質の高いバーチャルライブを作るためには、単純にCGを作れるだけでなく、他のクリエイターとコミュニケーションをとって落としどころを探る能力も必要になるのだなということ。VTuberというとUnityでの運用も多いものの、UEにも興味があるという方はぜひ参考にしてほしいイベントだった。
（TEXT by Minoru Hirota）
●関連リンク
・生配信アーカイブ
・スライド
・Unreal Engine