電脳少女シロ、E3参戦の舞台裏 「どこでもバーチャルキャラ出演」なシステムをドワンゴが実用化
6月15日朝6時という早朝から、ニコニコ生放送で興味深い取り組みが行われた。バーチャルYouTuberの電脳少女シロちゃんが、アメリカ・ロサンゼルスで開催されていた世界最大級のゲーム見本市「E3」に参戦（!?）したのだ。「【E3 2018】電脳少女シロ～E3に行く!？」と題したこの放送では、日本とE3会場を結び、シロちゃんを現地に降臨させて生中継したのである（関連記事）。
同じ場面を、現地の写真と、配信中の映像から。
配信映像では、E3にシロちゃんがやってきたように見える。
まさにバーチャルYouTuberならでは、といった感のあるこの試みを、筆者は現地で実際に見ていた。実際にどのような形で配信していたのか？ その詳細をお伝えしよう。
現地の映像とシロちゃんを「リアルタイム合成」
配信は、シロちゃんの声と動きをネットワーク経由で現地で受信、リアルタイムにCG化し、映像と重ねるという手法で実現した。
配信中の映像。
現地の中継にシロちゃんが参加。
YouTuberの人々に……
インタビューする形式で進んだ。
彼女は本当にそこにいた印象を受ける。
では、どんな感じの機材で動いていたのかというと、こんな感じだ。
中継システムのすべて。オペレーションを担当したのは、システム開発の担当者でもあるドワンゴの岩城進之介さん。
中継のテスト風景から。背中に背負ったゲーミングPCで、映像の位置合わせとレンダリングをすべて行っている。
テスト風景のモニター。実景にシロちゃんがしっかり映り込んでいるのがわかるだろう。
位置合わせと映像の記録に使っているのは、2Kステレオカメラの「ZED」。それを背中に背負ったPCに接続して処理している。シロちゃんの映像は背中に背負ったPCですべて生成し、さらにそれを配信……という形である。あとは、シロちゃんの位置と目線を理解してもらうために、タブレットを使った自作したリグを持ち、現地を歩きながら中継するという、なかなかにパワフルな手法だ。
音声収録も含め、スタッフは5人程度常に稼働していて、なかなかに大所帯。だが、現地でクオリティーの高いビデオ配信を行うスタッフは、普通にこのくらいの人数で動いているもの。そういう意味では、VTuberが関わるからといって、スタッフの数が増えているわけではない。
中継スタッフを全景で。音声の収録やケーブルのサポート、周囲の情報確認を行うディレクション含め、常に5人以上のスタッフで運営されていた。
中継中の様子。こんな風に、出演者は、シロちゃんを映したタブレットの方を向いて話す。
計画開始はGW後！ バッテリーにあった意外な盲点
ここからは、現地で配信を担当した、ドワンゴの岩城進之介さん（VR界隈ではMIROさん、と言った方が通りがいいかもしれない）を含む、スタッフへのアフターインタビューをお届けしよう。
──いやあ、すごいクオリティでしたね。驚きました。
ドワンゴ ありがとうございます。でも、実際にやっている人間からすると、「ここをもうちょっと」という、現地で動かしてみないとわからないこともあって……。
見ていた方はわかるんですが、途中で「低バッテリー」警告が出ているんです。今回はブースに固定ではなく、完全に移動する形なので、バッテリーでやっているんですね。ネット回線も携帯電話回線を使っていて、完全に無線です。なるべくコンパクトにしているのですが、バッテリーの運用だけは本当に辛くて。
なにぶん、今回は屋外での初チャレンジで、しかも海外じゃないですか。飛行機に乗せられる容量のバッテリーしか使えないんです。
──ああそうか！ あまり容量の大きなバッテリーは、飛行機には持ち込めないから……。
ドワンゴ あと、位置合わせもけっこううまくできていたかとは思うんですが、撮っている側からすると「うぎゃあ」と思う瞬間もあって。ただ、システムとしては十分可能性があって、これで本当にどこでもロケできるようになったかな、と思います。やっぱり、旅番組とか、温泉回とか、やりたいじゃないですか！
──ええ、確かに（笑）。基本的には、アメリカ側ではなにをやっていたんですか？
ドワンゴ 日本で作ったモーションデータを受けて、こちら側の、背中に背負ってたPCですべてレンダリングしています。それはいくつか理由があって。今回だとちょっとわかりにくかったかもしれませんが、実は周囲の照明の状況も、ぜんぶ採っているんですね。
──ああそうか、そうすれば、色合わせなんかもできる。
ドワンゴ ええ。スタンドの一番上にセンサーがあって、周囲の照明を全部採っています。だから、赤い照明が当たっていたらシロちゃんもちゃんと赤い照明が当たるんです。位置合わせもきちんとやるためにこちら側でぜんぶレンダリングし、映像として東京に送り返している形です。
──これで、「バーチャルキャラクターを色々な場所に連れていって中継する」システムはできあがった感じですか。
ドワンゴ そうですね。とりあえず一通り動かすことができたので、あとはマイナーアップデートを繰り返しながら、いろんなところでロケができたらいいなあ、という感じです。まあ、その初運用がいきなり海外というのはチャレンジしすぎだ、っていう話はあるんですが（笑）
──出演者のザックさんに、出番が終わった後、「あなたの映像、こんな感じで日本に中継されているよ」と、実際の映像をお見せしたんです。そうしたら、「ええ？！ こんなにすごかったの？ 思っているよりずっとすごいよ。日本の人達は、僕の話、楽しんでくれたかなあ」って言ってましたね。
ドワンゴ 本当はどう映っているのか、出演している人達に見せたかったんですよね。私の首に映像の「返り」用のモニターをぶら下げて、こっちを見れば「ああ、こう映っているのね」と理解してもらえるようにするつもりだったんです。ですがこれは、バッテリーの問題と、機材をコンパクトにするという必要性で、今回は実装から落ちちゃった要素なんです。
──あー、なるほど。そうなっていれば、彼らもやりやすかったでしょうね。電源が今回はかなり厳しかったんですね……。
ドワンゴ 今回は特に厳しかったです。日本でやるなら、デカいバッテリーを使うとか、電源を引っ張るとか、色々できそうです。
──これは計画開始からどのくらいで実現したんですか？
ドワンゴ 1ヵ月半くらいです。あきらかにゴールデンウィークが終わってからでした（笑）
──ええっ？ それはまた短い……。
ドワンゴ ゴールデンウィーク明けに、「E3でシロちゃんに出てもらって、なにかやりたいんだけど」という話が出てきて、「へー、それ面白いっすね」っていう感じでした。E3の映像取材自体は、毎年私どもでやらせていただいているんですが、取材をして映像を撮ったとしても、編集には時間がかかります。E3最終日とかのタイミングになっちゃうんですよ。そうすると、ゲームメディアの方々が第一報を流した後なので、その映像に需要がない、と。
──ああ、確かに。単純に映像を出すだけだと、需要がなくなっちゃいますね。
ドワンゴ なので、流行りのVTuberさんにあやからせていただくことはできないか、ということでご相談したんです。
──なるほどねー。
ドワンゴ 「現地でシロちゃんにインタビューやってもらうとか、やりたいよねー」「うん、やりたいねー」という話から、「さて、どうしよっか」と。言われた段階で機材のイメージはできたんですが、実際に組んで見ると……これが大変だった（笑）。
──デスヨネー。やると話は別で。
ドワンゴ やってみたら話は別でした。とはいえ、直近一週間くらいでだいぶこなれてきて。あのシステムを電源入れてからシロちゃんが出てくるまで、今は5分くらいで出来るようになりました。もっと短くはできると思うんですが、このくらいまで来たので「どこでも出来るな」と思うんです。
VTuber出演で日本からも「世界に勝つ映像配信」を！
筆者はこのシステムを見て、「動画で日本が世界に勝つ方法が見つかった」ような気がしている。
海外で取材していると、アメリカと中国のメディアが「動画」で撮影する姿が目立つ。しかも、見栄えのいい女性・男性をキャスターに据え、大人数のスタッフを使った本格的な「実況放送」だ。アメリカや中国は、同じ言葉を使う人々が多い関係でPVも多く、そういう予算の使い方をしても割に合う。だが、日本のPVでは難しい。国内ならともかく、海外のイベントは困難だ。おっさんがただしゃべる中継など、誰も見たくないだろう。
だが、今回ドワンゴがやったシステムを使えば、魅力的なVTuberに出演してもらいつつ記者と絡む、という映像が作れる。これなら、少ないスタッフと予算で「見てもらえる」映像が作れる。今回の中継は、「シロちゃんがE3に」というだけでなく、映像中継のコストとあり方を大きく変えてしまう可能性を秘めていたのだ。
（TEXT by 西田宗千佳）
●関連記事
・シロちゃんのE3現地レポで使っていたアレ！ ドワンゴ、AR撮影システムを独自開発
●関連リンク
・niconico
・電脳少女シロ（Twitter）
・電脳少女シロ（YouTube）
