今年はネットでもARキャラが出現！「ニコココ超パーティー」ボカロ・UTAUステージの舞台裏に迫る
ドワンゴが運営するniconicoは2日、さいたまスーパーアリーナにてライブイベント「ニコニコ超パーティー2017」（超パ）を開催した。歌手・小林幸子さんの降臨、niconicoの有名ユーザーによる歌や演奏、踊りの披露など、約6時間という長時間の饗宴に集まった約1万5000人が熱狂した。
今年も幸子さんは巨大でした……。
実は超パといえば、過去にドワンゴがライブに関する新技術を実験して来た場としても知られている。
・ニコニコ超パーティーの360度配信で感じた、「ライブ感」をVRで演出する難しさ（2016年、筆者のASCII.jpの寄稿記事）
・本日20時まで!! ニコ生で全天球ライブカム実験機を使った「ニコニコ超パーティー2015」360度ライブが配信中（2015年）
・niconico・リコーの「全天球カメラ実験機」をGear VRで体験してみた！（2014年）
今年のチャレンジは、ボーカロイド・UTAUキャラのパートにおけるAR配信だ。キャラクターの具現化についてはPANORAの読者的にも関心が高い話題と思われるので、その仕組みと現地の様子をレポートしていこう。
お話を聞いたのは、ドワンゴ 第二サービス開発本部 マルチメディア企画開発部 先端演出技術開発セクションのマネージャー、岩城進之介氏。上記リンクの3記事を始めとする、さまざまな先端表現を手がけてきている。
映像の同期がポイント
初音ミクを初めとするCGキャラクターのライブは、テレビやネットでも何度も取り上げられてきたため、聞いたことがあるという人も多いはず。背後からプロジェクターで透明スクリーンにCGを投影し、周囲の照明を落とすことで、本当にステージにキャラクターが現れたように感じられるのが特徴だ。
niconicoにおいても、この超パだけでなく、ドワンゴが運営するライブハウス「ニコファーレ」などでこの透明スクリーンを使ったライブを実施してきた。
一方でこの種のライブは平面に投影するので、横や斜めからのアングルではキャラがペラペラに見えてしまうのが弱点だ。特にネットの生放送では、スクリーンの反射でキャラクターの存在感が落ちてしまったり、そもそも横からのアングルが使えなかったりとなかなか制約が多い。
この問題を解決するために、ドワンゴでは2012年から透明スクリーンの手前にさらにCGをリアルタイム合成する試みを行っている。角度によってキャラが二重になってしまうものの、真横からのアングルが実現できるなどネットでもキャラの実在感を出せるわけだ。
今年4月に実施した「ニコニコ超会議 2017」の「超歌舞伎」でもこのAR配信を採用していたので、覚えている方も多いはず（こちらの制作はPANORAでも過去にトークイベントを実施したラテンセイル＆ライブグラフィックス）。
……と長い前置きがあったうえで、今回の超パではボーカロイド・UTAUキャラが11人登場するパートにて、一部の曲でこのリアルタイム合成を実施をしていた。
現地での様子。キャラクターは手前にある透明スクリーン、ステンドグラスは背面のLEDと別々に表示している。
©️ 1st PLACE Co., Ltd.
IAによる「DAYBREAK FRONTLINE」。画像はニコニコ生放送よりキャプチャーしたもの（以下同）。
©️ crypton future media inc. www.piapro.net、©️ INTERNET Co., Ltd.
GUMI・鏡音リンの「インビジブル」。
©️ INTERNET Co., Ltd.
音街ウナの「はやくそれになりたい！」。
©️ crypton future media inc. www.piapro.net、©️ INTERNET Co., Ltd.
初音ミク・鏡音リン・GUMIの「神のまにまに」。
©️ crypton future media inc. www.piapro.net、©️ INTERNET Co., Ltd.
初音ミク・神威がくぽ・KAITOの「ロミオとシンデレラ」。
©️ crypton future media inc. www.piapro.net、©️ INTERNET Co., Ltd.
筆者も実際に現地の2階席からステージを眺めつつ、手元のiPhoneでも生放送を見ていたのだが、特に横のアングルでキャラの存在感が出ていたのがいいと感じた（もう少し横からも寄りの絵が欲しかったが……）。そしてこの生放送の映像は遠くの席からも見やすいように、そのままステージ両脇のサービススクリーンにも流れていた。
ドワンゴの岩城氏によれば、「やっぱり生放送でもきれいに見たいよね」というのが原点だったという。そしてこの「リアルでもネットでもAR」を実現する上でポイントとなったのは、映像の同期だった。
仕組みを聞いたところ、まずステージの透明スクリーンも約10mと横に広いため、左右に2つの映像を並べて投影しているとのこと。この映像がズレないようにタイムコードを使って同期し、マニピュレーターが音声を重ねた上で、ステージのバンドが音を合わせている。岩城氏のチームでは、この映像のタイムコードを引っ張ってきて生放送用のARと同期する仕掛けをつくったとのこと。
超パーティー2017の華やかなステージの裏側を覗き見?
妖怪のようになっているコード！大量の画面と機械！
ひとつひとつがライブに欠かせないものです✨
こうしてAR演出や生放送配信をお届けしています??▼公式サイトhttps://t.co/gFbwnxXIs5#超パーティー pic.twitter.com/kOeuz6FmhT
— niconicoリアルイベント【公式】 (@eventnico) November 2, 2017
そして、この同期システムを映像制作チームの邪魔にならないようにつくることに気をつかったという。
これまた込み入った話になるが、ひとくちに同じ初音ミクのライブといっても、使っているソフトやCGモデルは千差万別だ。超パーティーでは、niconicoでの投稿が盛んなフリーのCGアニメツール「Miku Miku Dance」（MMD）を利用し、今回のステージもネットのクリエイター（MMDer）が手がけた。必ずしもプロとして活動しているわけではないので、余計な負担はかけたくないはず。
また、限られた時間での実現も挑戦だった。超パのステージはこいろいろな演目があってリハーサルの時間も限られている。新しい技術だからといって、特別に時間をもらえるわけではない。そのいかに限られた時間で上手く調整するかというところも含めて、過去に蓄積してきたオペレーションのノウハウが活かされたという。
「今まで超パのたびに新技術にチャレンジしてきて、その度に『どったんばったん大騒ぎ』だった。今年も大変だったけど、その中ではなかなか上手くいったのでは」と岩城氏はまとめていた。
生放送では、このMMDパートに限らず、上の写真のように要所で客席やステージにCGを重ねるAR演出が入っている。こちらもniconicoのライブで伝統的に手がけてきたもので、もともとある舞台セットのように自然にカメラワークにはまっているのが不思議だ。この生放送は12月3日まで有料（3000円）でタイムシフト視聴可能なので、ぜひVR／AR／MR関係の方々はチェックしてみよう。
©️ 超歌舞伎
ちなみに岩城氏とドワンゴいえば、先のDCEXPOでも「DAHLES – HoloLens大規模同期ARライブシステム」を出展していた。「超歌舞伎」の初音ミクの舞を複数人でHoloLensで見るという展示で、HoloLensの処理能力では考えられないほど精細なCGモデルが動いていた。岩城氏によれば、この辺の手法も後日、どこかでまとめたいとのことなので、DCEXPOで体験した方はぜひ期待して待っているべし。
（TEXT by Minoru Hirota）
●関連リンク
・ニコニコ超パーティー
・ドワンゴ
