今月より短期連載として毎月お届けする「バーチャルキャストのひみつ」。バーチャルキャストといえば、VR機器を活用したVTuberの生放送ツールとして普及していますが、今後はVR内で楽しくコミュニケーションできるソーシャルVRへの進化を遂げようとしています。
バーチャルキャスト周りは進化が早く、ユーザー側も意外と重要な機能を見逃していることもあるはず。本シリーズでは、激動の真っ只中にいる同社エンジニアのみなさまを取材し、その熱い想いを語っていただきます。今回は11月にリリースしたバージョン1.8.0でリリースしたボイスシステムの全面アップデートについて、開発を担当したichi氏とtaraba_氏にインタビューしました。
●過去記事
・【独占取材】バーチャルキャストはソーシャルVRに進化する──岩城CTO・山口CVOに聞く資金調達の理由
＊バーチャルキャストのダウンロードはこちら → https://store.steampowered.com/app/947890/VirtualCast/
ichi氏 バーチャルキャスト 開発部所属。いにしえからの「にじさんじ」オタクで、最近は酢飯組（SMC）がお気に入り。
taraba_氏 同開発部所属。よく見る動画ジャンルはRTAで、特に「スーパードンキーコング2」ものが好き。
バグチェックのために配信やネットの声をチェック
──お二人はどんな経歴でバーチャルキャスト社に入社したのでしょうか？
ichi氏 僕はVRについては大学で少し触れたぐらいでしたが、卒業して仕事をしていくと考えたときに、お堅いシステム構築をやってる自分が想像できなかったんです。エンジニアでも自分が興味を持てる面白い仕事をしたいと考えて、そのときにご縁があったドワンゴに2018年に入社し、MIROさん（現バーチャルキャスト社CTOの岩城進之介氏）の下で働いていたところ、7月にいきなり会社を立ち上げるという話が出ました。驚きましたが、そのままバーチャルキャスト社に合流しました。
taraba_氏 私の場合、もともとエンジニアとは縁もゆかりもない文系大学にいました。VRについては小説などで出てくる概念として知っていましたが、実際にVRゴーグルの「Oculus Rift」をかぶった際、「これは生きているうちに世界を構築するレベルまで行けるのでは」と直感して大学を休学し、そこからプログラミング自体を学び始めてエンジニアを目指したんです。
その後、起業の手伝いやVRベンチャーを経て、バーチャルキャスト社の設立を聞いて面接を受け、今ここにいます。だから当初やりたかった世界を構築する土台をつくる仕事に就けた感じです。
──お二人とも若手なのに激動の入社ですね……！ バージョン1.8.0で大幅更新したボイスシステムを担当したとのことですが、最初から音周りのエンジニアだったのでしょうか？
taraba_氏 企業向けの「エンタープライズエディション」でしか実装されていない表情コントローラーを開発していました（編集註：バーチャルキャストには一般向けの「バーチャルキャスト」のほか、業務用に拡張された「ビジネスエディション」「エンタープライズエディション」がある）。
ichi氏 僕は一般向けの「バーチャルキャスト」側で、例えば、スタジオに入ったときに名札が降ってくる機能や、バーチャル内で録画できる「動画キャプチャー」を実装しました。ほかにも2018年9月に配信したVTuber「ときのそら」ちゃんの1周年生放送で、MIDI信号を元にVTuberがキーボードを弾く姿を再現するプログラムを、周りの方々に手伝ってもらいながらつくりました（プレスリリース）。
──今回の音周りのアップデートは何人ぐらいで制作しましたか？
ichi氏 基本的に僕ら2人が中心です。
taraba_氏 今回のアップデートは、音声の処理をクライアント（ユーザーが使うPC）側からサーバー側で行うようにする仕様変更なので、そのサーバーが立ち上がってからは、サーバーチームと一緒に開発しています。
──少数精鋭！ いつ頃から開発に着手したのでしょうか？
taraba_氏 最初に音のアップデートの話が持ち上がったのが今年の3月で、弊社エンジニアの「とりすーぷ」さんが2018年末に勉強会の「Unity Audio 完全に理解した」に参加した際、CRI・ミドルウェアさんからお声がけいただいたのがきっかけです。まだ世の中に出ていない開発中のライブラリだったので、こちらもフィードバックに協力しつつ、実際には今年6月ぐらいから開発に着手してリリースした形です。
──今回の音声アップデートで一番の注目は？
taraba_氏 3Dオーディオも大きいのですが、音声のミキシングをサーバー側で処理するようになったことで、クライアント側のPCとネットワークの負荷が軽減されて、同じバーチャル空間に何十人も入って会話できるようになった点です。
ichi氏 もともとソーシャルVR側に進むという話があったので、同じバーチャル空間にいる人が増えたとしても、サーバー側でミキシングすることで通信量を抑えて音質が安定させるという根本的な解決策を取りました。
──開発で一番大変だったところは？
taraba_氏 特定の通信環境で起こる不具合を潰すことです。具体的にはバーチャルキャスト社内では起こらないのに、私の自宅の弱いWi-Fiでは起こるという問題で、通信のパケットを延々と検証し、CRIさんにレポートを送ってあちらでもようやく再現できて、さらに直してもらうことに時間がかかりました。
ichi氏 実際、リモート出勤していたtaraba_さんの自宅でしか再現しないバグだったので、検証が大変でした（笑）。またバージョン1.8.0aではパケットの修正がうまくいかずに声がバリバリになる不具合が残っていたのですが、バージョン1.8.1aで修正しています。
taraba_氏 だからバージョン1.8.0aをリリースした後、どんな環境で不具合が起こるのか、バーチャルキャストでユーザーが配信している番組やTwitterの声をずっとチェックして調べていました。
提示する機能をユーザーが創造性で超えてくる
──個人的には3Dオーディオが興味深いのですが、実際自分たちで試したときにどういった印象を持ちましたか？
ichi氏 一番最初にバーチャルキャストに組み込んで社員10人ほどで一斉に部屋に入って試したときに体験がこんなに変わるんだと衝撃を受けました。
taraba_氏 そのときに北海道からも東京からも、自宅でリモート作業している人も参加していたんです。
ichi氏 みんなでわいわい話していても、まず誰が話しているのかがわかりやすかったのがよかった。後ろから話しかけられたら、ちゃんと振り向いて反応できるわけです。
──それは3Dオーディオによってよりリアルの世界に近い体験になるといういい話ですね。
ichi氏 そうですね。ただ、3Dオーディオ対応は現状は音声のみで、VCI（バーチャルキャスト内のアイテム）はまだ2Dなので、その辺りは追い追いアップデートしていきたいです。
taraba_氏 3Dオーディオの提供後、ユーザーの使い方を見ていて興味深かったのが、PCを2台用意して、片方から喋りかけて擬似ASMRを再現していた方です。基本的にユーザーのみなさんはこちらの考えている使い方を超えてくるのがスゴいところです。
──面白い！ 確かにniconicoでもコメントアートなど同様のユーザーのクリエイティビティーがツールを超えるという状況がありました。
taraba_氏 新しい機能を提供すれば、ユーザーがこちらの想像を超える使い方を見せてくれるのがバーチャルキャストで、今後もそれを実現してくれると思います。
──わかります（笑）。逆に3Dオーディオをこういう風に使って欲しいという要望はありますか？
ichi氏 同じ空間に入っている人から離れるほどボリュームが小さくなっていく距離減衰をうまく使ってほしいと思います。バーチャルキャストの設定では、距離減衰が始まるところと、完全に聞こえなくなる範囲が調整可能で、この辺はVTuberさんで流行ってる某雪山のサバイバルゲーム（「Project Winter」）のようにVCI背景を使ってゲームをつくるときに何か活用できると考えています。
taraba_氏 個人的には、バーチャルキャスト内でボードゲーム会を開いてくれるのを期待しています。3Dオーディオと距離減衰があることによって、いくつかの島に分かれて遊んでいる雰囲気がすごく出せる。すでにVCIにはボードゲームもあるので、今の時点でも実現できたりします。
──数十人で集まって後ろから他人のプレイを見てワイワイ遊べるというのはすごく楽しそうです。
taraba_氏 あとはアイテムのマイクを持っている人は3Dオーディオの中でも全員に対してきちんと聞こえるように声を出せるというアイデアもあります。今まで「ピー」音を出すだけのマイクが、本来の役目をはたせるようになる。
──（笑）。ボードゲームについては、ニコニコ生放送の企画のように、バーチャルキャスト社で主催しても面白いかもしれません。
taraba_氏 ただ、今はバージョン2.0に向けての大幅アップデートを準備している最中で、その中で音周りを先に公開した形です。もしやるなら、2.0リリースの後ですかね。
ちなみにバーチャルキャストは生放送ツールとして注目を集めましたが、実は3Dオーディオは放送と相性があまりよくないのです。というのも配信者がVRゴーグルで見ている風景と、視聴者が目にする放送用の画面は別々で、配信者の位置で取得した3Dオーディオを流すと、配信で見た際には音の位置ずれが出てきてしまう。だから現時点では、ユーザーが困惑しないように、標準では3Dオーディオをオフにしていて、わざわざ設定で変えないと実行できないようにしています。
──それは生放送からソーシャルVRへの移行時期だからこそ必要な要素ですね。
ichi氏 そもそも出演者が多いテレビのバラエティ番組でも2D音声ですし、生放送の用途でも使われるなら2Dオーディオも必要だと思います。
──そうですね。将来的にカメラの位置からの音を取得して、放送でも3Dオーディオが使えたら番組が面白くなりそうです。
ichi氏 はい。だから今、その機能を改修しています。
──流石です！
働きやすい職場から生まれる顧客の求めた機能
──今後、バーチャルキャストのここを改良していきたいという想いはありますか？
taraba_氏 MIROさんぐらいにしか伝えてない個人的な話でいえば、プロシージャル（自動生成）な音づくりがやりたいです。理想は、VCIに属性を持たせて、音響空間を推定して音場をつくれるようにしたい。
──例えば、洞窟に入ったら、音の反射が大きくなるみたいな感じでしょうか？
taraba_氏 最終的にはそこにたどり着きたいですが、現状ではネットで調べてもまだまだ情報が乏しいです。ハイエンドのゲームだと少しずつ始まり始めた感じで、VRの環境に落ちてくるのはまだ数年かかる印象です。
──その話が実現できれば、VRライブなどでも大いに役立ちそうです。ichiさんはどうですか？
ichi氏 細かい話ですが、マイクでしゃべったときにエコーがかけられるといいなと考えています。エコーのオンオフや、かかり具合を調節できたら面白そうだと。
──確かに！ 男声や女声に変換するボイチェンマシン機能もニーズがありそうです。
ichi氏 それも楽しそうです。
taraba_氏 実は企画として少しだけ出ましたけどね。
──音声のリアルタイムエフェクトは、ロボットボイスや、刷りガラスの向こうで喋っている犯人の声などで、いろいろ遊べそうです。しかし、こう楽しそうに夢を語っている2人を見ていると、バーチャルキャスト社はすごく働きやすい印象です。
ichi氏 はい。直近で言えば、CVO（チーフ・バーチャル・オフィサー）である「みゅみゅ」さんがリアル化したことが社内で大受けして、Slackに投下されたときに全員がすさまじくざわつきました。
taraba_氏 みゅみゅさんの写真がいろいろ出てくるSlackのカスタムレスポンスにも大量に投稿されましたね。
──そんなカスタムレスポンスが（笑）。役職や年齢の壁を超えて仲がいいのですね。
ichi氏 上との距離がすごく近くて、風通しがいいのは実感しています。何か疑問に思ったら、例えばみゅみゅさんにすぐに聞いて確認できますし。
────どんな職業でも、聞きづらい雰囲気は百害あって一利なしだと思います。
taraba_氏 その辺の心理的安全性についてはエンジニアは全員気にしていると思います。できるだけオープンにしてなんでも話せる空間にしようと。
ichi氏 基本的に何か困ったことがあったたらSlackに投げると強い人たちが集まってくるので。
──社内に「つよつよ」なエンジニアが集まっているからこそ実現できることですね。
ichi氏 あちこちから「こうしたらいいよ」「こうしたらいいよ」とめっちゃ助けてくれるのがありがたいです。だからこそ、バーチャルキャストの2.0リリースに大いに注目してほしいです。VRに興味のある方も、そうじゃない方々も、ぜひ期待してお待ちください。
（提供／バーチャルキャスト ）
●関連リンク
・バーチャルキャスト
・バーチャルキャスト（Steam）