6月21日、NTTドコモとチャイナ・モバイルのグループ会社・ミグ動漫が共同制作している「直感×アルゴリズム♪ 3rd Season」の第0話が生配信された。
2017年に1st、2018〜2019年に2ndのシーズンをネット配信し、今年の1月から3rdをスタート。週に1回、ラジオ形式の番組を提供してきた上で、今回、新スタジオ「docomo XR Studio」と新規のXRライブシステム「MATRIX STREAM」を活用した第0話をお披露目した（ニュース記事）。
VTuberの音楽ライブやモーションキャプチャスタジオを色々と取材してきたPANORAとしては、このMATRIX STREAMとdocomo XR Studioがどんなものか気になるところ。わかりやすいところで言えば、超高級モーションキャプチャーである「VICON」（バイコン）のカメラが32台導入されているところなのだが、単純に機材だけでない未来を見据えた施策も知ってほしいところだ。第0話の生放送の現場を取材したので、その魅力をまとめていこう。
VTuberとは源流が違う「生アニメ」の血を引く作品
「直感×アルゴリズム♪」を簡単にまとめると、VTuberとは微妙に違う「生アニメ」の文脈を受け継ぐ作品になる。
VTuberといえば、リアルタイムでキャラクターを動かす技術ありきで成立しているジャンルだ。例えば、嬉しさを笑顔で表現したり、ゲームをしていてピンチになったときに苦しそうな顔を見せたり、辛いものを食べたときに全身でジタバタしたりと、そのときの感情を動きで伝えてくれるのが面白さのひとつになる。
同じCGキャラクターでも、アニメやゲームはそもそもシナリオありきで、物語の世界観の中でキャラクター設定に沿って振る舞っている。一方でVTuberは素の「魂」が言動に出てくるわけで、視聴者にとって同じ世界で生きていることを実感できるというのが目新しい。
そうしたVTuberとは別ラインでリアルタイムでキャラクターを動かすことを追求してきたのが、「直感×アルゴリズム♪」シリーズになる。
番組のルーツは、2014年にNOTTVを中心に放送していたアニメ「みならいディーバ（※生アニメ）」にある。声優にモーションキャプチャー機器をつけて、声だけでなく動きも生で収録するという先進的な取り組みをしたことで話題を呼んだ。VTuberの草分けであるキズナアイさんの活動開始が2016年12月、VTuber自体が爆発的にネットで注目されたのが2017年12月頃なので、だいぶ前から挑戦していたことになる。
その後、この番組のプロデューサーである副島義貴さんがNOTTVから出向元のNTTドコモに戻る。NTTドコモは中国のチャイナ・モバイル、韓国のコリアテレコムと3社でインフラやコンテンツについて協業する協定を結んでおり、副島さんが会議の場で「生アニメ」を提案したところチャイナ・モバイルが興味を持ち、「みならいディーバ」のチームも迎えて制作開始。2017年8月に「直感×アルゴリズム♪」の1stシーズンの日中同時配信が始まった。
1st、2ndのシーズンは、収録済みのアニメパートとリアルタイムの生放送パートを組み合わせた内容だった。AIアイドルを目指すKilin（キリン、麒麟）とXi（シー、犀）という2人の女の子が主人公で、1stが全8話、2ndが全17話ときちんとしたストーリーを展開したり、担当する声優の名前も明かされているのが、VTuberとは大きく異なる。
生放送ではコメントを読んだり視聴者からアンケートを取ったりと、VTuber的なこともやっている（その結果、ファンネームが「尻友」になるという謎の展開も見せたが）。日中のバイリンガルな声優を起用し、両国の視聴者にリアルタイムで対応していたという点も珍しい。1期ではKilinが日本語しか、Xiが中国語しか話せないが、その言葉の壁を超える友情がテーマになっていた。2期では、Linlin（リンリン、麟麟）の愛称で呼ばれる、中国語を話せるKilinの別人格も登場した。
音楽にも力を入れており、2ndから生まれたオリジナル楽曲の「フタリセカイ」は230万、「520」は210万とYouTubeにて再生数を大きく伸ばしている。音楽ライブでは、2019年2月にはかつて横浜にあったDMM VR THEATERにて「直感ｘアルゴリズム♪ Tacitly 1st AR LIVE」、2020年3月には新型コロナウィルスの影響で無観客のオンラインにて「以⼼伝⼼-Borderless Live 5G-」を開催した。ちなみに「以⼼伝⼼」のライブは、日中でのべ190万人が視聴したとのこと。
その2シーズンを踏まえて今年1月にスタートした3rdでは、今までの2人とは別に、日本と中国でそれぞれKilinとXiが登場。日本側はKilinがLilia（リリア）、XiがCiel（シエル）、中国側は麟儿（リンア）、犀儿（シーア）という愛称で、累計7人になった（AIなので、多分増えても大丈夫なのですね……）。キャラクターデザインも一新し、にじさんじ・静凛さんら数々のVTuberを「産んで」きた竹花ノートさんが担当した。
LiliaとCielは日中英のトリリンガルというのもスゴいところで、今までの日中だけでなく、英語圏にも作品と音楽を広めることを目指している。「直感オーバーライト」や「オルビット」といったオリジナル曲だけでなく、生放送のアフタートークも3ヵ国語で投稿してきた。そんな半年の助走を経て迎えたのが今回の第0話なのだが、積み上げてきた歴史を振り返ると、だいぶ重みがある配信だということが分かるだろう。
R&Dとして挑戦する、リアルタイムかつリッチなCG表現
肝心の新スタジオ「docomo XR Studio」とXRライブシステム「MATRIX STREAM」だが、だいぶ「つよつよ」な仕組みだった。端的に言えば、無料生放送にはオーバースペック過ぎる印象だ。
まず「docomo XR Studio」だが、お台場のテレコムセンター内に今年1月に開設したXR専用の撮影スタジオになる。目的は「XRコンテンツ作成に関する研究開発とコンテンツ作成者との共創」とのことで、モーションキャプチャー用にVICONのカメラを32台用意するほか、人物を動画として3D化する「ボリューメトリックビデオ」用のカメラ「TetaVi Studio」も備えている（関連ニュース）。
VTuberファンなら、「にじさんじ」や「ホロライブ」がVICONを導入したことで、高精度で表現力豊かな3D配信ができるようになったことを知っている方がいるかもしれない。
なぜVICONが話題になるかと言えば、モーキャプ精度の高さに加えて、カメラ1台で車が買えるという価格の側面もある。さらに運用ソフトやスタッフなどの稼働費もかかわるわけで、だからこそ今までは映画やゲームの動画パートなど、予算が潤沢にある企画でしか使われてこなかった。
近年、ムーブメントの煽りもあってVTuber業界でも導入の話を聞くが、そもそもネットの無料生放送で使うのがだいぶ想定外といえる。逆に言えば、NTTドコモがXR分野へのR&D（研究開発）に本気で取り組もうという意思の現れでもある。
スタジオ自体も広く、高さも十分で、出演者が大きく動き回れるようになっている。今回の第0話の収録でも、実際の段差を用意して番組冒頭でLiliaとCielが階段を降りてくるシーンを入れたり、部屋を動き回って壁に飾ったイラストを紹介したりと、大型スタジオでしか実現できない動きを見せていた。
そのdocomo XR Studioの魅力をさらに引き出してくれるのが、新システムのMATRIX STREAMになる。
筆者がまず感じたのは、陰影表現の美しさだった。生放送のアーカイブを見てもらえば分かると思うが、LiliaとCielはパキっとしたアニメ調、背景のLEDライトが当たる部分は柔らかいボヤけた感じと異なる描画が並存している。「オルビット」のライブシーンでは、上下左右から強い照明が当り、彼女たちの髪の毛や衣装が輝く様子が見事に再現されているのが素晴らしい。
もう少し詳しい話をすると、本システムのために独自に制作したという陰影を描くプログラム「シェーダー」がスゴいという話になる。3Dモデルはざっくりいえば、まずポリゴンという形状があり、その表面にテクスチャーという画像を貼った上で、シェーダーで光が当たった際にできる色の変化を計算している。
3D CGをリアルタイムで動かすこと自体がまず一般的なパソコンにとって重い処理で、よりリアルな陰影表現を求めてシェーダーにもこだわり始めるとさらに負荷も高くなりがちだ。グラフィック性能の高いパソコンを使い「パワーで殴る」こともできるが、それにも限界があるし、生放送ならなるべくトラブルが起こる要素は排除したい。
だからVTuberの無料3D配信は、そこまでシェーダーを突き詰めないし、逆に音楽ライブなどで光の表現にこだわりたい場合は、事前にシーンを書き出した上で他の動画編集ソフトなどでエフェクトをかけるなどの「完パケ」データを事前につくっておくことも多い。
一方でMATRIX STREAMの独自シェーダーは、美しさを重視しつつ、動作の軽さも両立させたため、ライブのような光源が多いシーンかつリアルタイムでも美しい陰影表現を実現できた。さらっというと重みがわかりにくいが、そもそも技術課題がわかっていて、実験的な表現に挑戦できるスキルもあるスタッフを見つけてきて、きちんとハードルを超えてきたこと自体がスゴい。
そしてこの軽さは、VR機器で視聴する際にも役立ってくれる。「MATRIX STREAM」は「Multi Access and Transfer Realtime Immersive Xr STREAM engine」の略で、今回のようなスタジオで生放送している様子をパソコンやスマホに流すだけでなく、劇場やサイネージに配信したり、VR機器でバーチャル会場にログインして、バーチャルタレントやキャラクターを目の前に観覧する機能もテストし始めている。
MATRIX STREAMは、PC向けVR機器だけなく、より処理性能が限られた一体型VRゴーグルの「Oculus Quest 2」でも動作を確認しているという。つまり、手軽にアクセスして美しい空間を体感できる将来を見据えているというわけだ。さらにスタジオのCGセットと同じワールドをVRChat内に展開し、同時に視聴できるようにすることも視野に入れて開発を進めているとのこと。
VRでのライブ観覧は、clusterやVARK、バーチャルキャストなどでもすでに実現しているわけだが、docomo XR Studio＋MATRIX STREAMのような予算をかけて全力で新しいことをやろうとする存在が現れて刺激になり、業界における表現力の引き上げが期待できるだろう。われわれ消費者としては本当にありがたいし、未来にワクワクする話だ。
MATRIX STREAMは、XRライブにフォーカスした表現性能と、配信プラットフォームのAPIと連携したインタラクティブな演出機能を備えており、「直感×アルゴリズム♪」シリーズ自体も音楽を重視しているので、3rd Seasonでも何らかのライブ展開が期待できる。ここ数年で巻き起こったバーチャルタレントのライブ戦国時代において、リッチな新スタジオと新システムを使ってどんな新しい表現を見せてくれるのか。引き続き同作に注目しておきたい。
©NTT DOCOMO, INC. ©MIGU Co., Ltd.
（TEXT by Minoru Hirota）