stu、デジタルメディアデータの同期配信を実現「Media Sync Technology」提供開始

ホロアースで実施されたバーチャルライブProtolive#2 ヤマトファンタジアにおいて、Media Sync Technology™を提供し、オフラインライブさながらのステージ演出や現場オペレーションをメタバース空間上で実現。
リアルタイムにアーティストがリアクションを行えるインタラクティブなエンターテインメント体験を世界中にいる参加者へ提供しました。

　株式会社stu（本社：東京都渋谷区、CEO：黒田貴泰、https://www.stu.inc/）は、あらゆるデジタルデータの時刻同期配信を可能にする通信技術「Media Sync Technology™」の提供を開始、カバー株式会社（本社：東京都港区、代表取締役社長：谷郷元昭）主催によるバーチャルライブ、Protolive#1、および、Protolive#2 ヤマトファンタジアにて採用されました。

“オフラインを超える”エンタメ体験を。

　コロナ禍を経て、新しい音楽ライブの在り方を模索せざるを得ない状況になりました。その一つとして発展してきたメタバース空間でのライブは、収録された映像を見る従来のライブ配信とは違い、友達と同じ空間で一緒に体験できる、アーティストを自分の見たい視点で見られるといった、自由度の高い体験が魅力です。

　しかし、メタバース空間でライブを行うことができるようになった背景には、たくさんの技術的課題がありました。その一つが、ライブの信号の多様性です。

　ライブの開催において、音声信号や照明制御信号、映像信号、タイムコード信号など、あらゆる信号が音声とタイミングがシンクロするように調整されています。メタバース空間でライブを開催する場合、これらの信号を一般のインターネットを経由させて通信しなければなりません。

　一方で、市場に存在するメディア通信プロトコルは、YouTubeなどに代表される映像と音声のみをシンクロして配信するものに留まっていました。これまでも、遠隔地へライブ制御信号を通信する試みは行われてきましたが、通信経路が信号ごとに異なってしまい、音ズレが発生してしまう課題がありました。

　stuの提供するMedia Sync Technology™は、音声, 映像, 照明, モーションキャプチャデータ, MIDIデータなどに代表される任意の信号を1つにまとめ、音声と完全にシンクロした状態で伝送できること目指して開発が行われてきました。

会議室からライブ会場・そしてメタバースにより世界へ

　Media Sync Technology™を応用することにより、日本のどこかの会議室から世界中のどこかのライブ会場の演出をリアルタイム制御するなど、ワールドワイドな拠点間伝送が可能になります。

　さらに、各クラウドサービスの提供しているCDN(コンテンツ配信ネットワーク)と高度に統合することで、通信先が10万件超のような大規模通信にも耐えることができます。そのため、メタバース空間のように、大量のユーザと通信しければならない状況にも耐えることが可能となりました。これにより、オフラインライブさながらのステージ演出や現場オペレーションをメタバース空間上で実現でき、視聴者からの声援に対するアーティストからのリアクションがリアルタイムで行えるなど、よりインタラクティブなエンターテイメント体験を、世界中に何万人といるファンに向けて提供できるようになりました。

■「Media Sync Technology™」とは

　音声, 映像, モーションキャプチャデータ, MIDI, OSC, DMXデータなどに代表される、音楽ライブ制御用のマルチメディア信号を、リアルタイムかつ音声とのシンクロ状態を保った状態でインターネット経由で通信することを可能にする、stuが開発した独自テクノロジーです。

　Protolive#2 ヤマトファンタジアでは、このテクノロジーをCDNと高度に統合し、数十万人規模の接続に耐えるよう提供。スタジオからリアルタイムで行われるパフォーマンスを、メタバース空間に居る多数のユーザーに”生で”届けることを可能としました。

　この度音楽ライブを行う事業者や、メタバースプラットフォームを保有する事業者、ならびにライブ会場を保有する事業者など、エンタテインメント産業に関わるすべてのみなさまへ、Media Sync Technology™を広く提供開始いたします。

■「Media Sync Technology™」導入事例

2023年7月15日開催 Protolive#2 ヤマトファンタジア
　カバー株式会社のメタバースプラットフォーム「ホロアース」上で開催されたバーチャルライブにおいて、Media Sync Technology™の本格導入提供に加え、カバー株式会社とstuが協業し、ライブ本編のプロデュース及び制作を担当しています。

　ホロライブプロダクション所属のVTuber「白上フブキ」「さくらみこ」「百鬼あやめ」「大神ミオ」が出演した本公演では、高音質での音声配信に加え、出演者の歌唱やダンスなどのパフォーマンスをリアルタイムに伝送、多数の参加客が声援を送り、出演者が応える様子が見られるリアルタイム配信ならではのインタラクティブな体験を提供。バーチャルライブのさらなる可能性を示しました。

2022年12月26日開催 Protolive#1

　Media Sync Technology™の提供開始に先立ち、ヤマトファンタジアと同じくカバー株式会社のメタバースプラットフォーム「ホロアース」上で開催されたメタバースライブで実証テストを実施いたしました。
　カバー株式会社とstuが協業し、ライブ本編プロデュース及び制作を担当しています。

　ホロライブプロダクション所属のVTuber「AZKi」「森カリオペ」が出演した本公演では、ヤマトファンタジアと同様の通信技術の提供し、多数の同時接続を実現しました。

■stu所属ヤマトファンタジア制作 / Media Sync Technology™開発 プロデューサー・高尾航大氏コメント

　既存のメタバースで開催されるバーチャルライブは事前収録されたライブのデータを参加者がダウンロードし体験するものがほとんどでした。
　そのような現状に対し、参加いただくファンの方々や出演するアーティストに、よりリアルタイム性やインタラクティブ性を重視した体験を提供していきたいと考えて我々はMedia Sync Technology™を開発してきました。
　Media Sync Technology™を活用することによって、真の意味での”生の”配信を実現することで、飛躍的にライブの体験価値が向上するとともに、メタバース空間上での多様なビジネス形態が生みだされると考えています。
　この技術が広く活用されることで、バーチャルライブ興行・ライブ産業全体の技術革新に寄与できることを願い、機能追加や品質の向上を強く推進していきます。

　今後もstuは、カバーさんとともに最新鋭のバーチャルライブの共同制作を通じて、ホロアースの価値を十二分に引き出し、「世界が愛するカルチャー」をさらに強固なものにするために貢献してまいります。
　また、stuの持つミッションの「クリエイティブとテクノロジーの共振によるエンタテインメントの再開発」を追求し、これからも皆様によりよい世界を提供できるよう努めてまいります。

■カバー所属ホロアースプロデューサー・大岡祐輝氏コメント

　　前回のProtolive#1につづき、Protolive#2ヤマトファンタジアをstuさんと共に制作できたこと嬉しく思います。Protoliveの名が示す通り、ホロアースはサービスとしても機能としても、まだまだ発展途上です。

　今回、ホロアースサイドの実装として実験的に、ライブを最大限盛り上げる演出アイテムや、ライブ当日に至るまでの世界観に浸るイベント体験の設計を行わせていただいております。stuさんには、それらを最大限活かしていただきつつ非常にクオリティの高いライブ空間を作り出していただいたこと、人の集まるメタバースプラットフォームとしてのホロアースの価値を十二分に引き出せるライブクオリティを共創させていただけたことにつきまして、あらためて感謝の念につきません。

　今後も、究極のバーチャルライブ体験の「正解」に少しでも近づくため、最新鋭のバーチャルライブ体験を皆様にご提案する取り組みを進めてまいります。

引き続き、よろしくお願い申し上げます。

■株式会社stuについて　

　stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。

Media Sync Technology™に対するお問い合わせはstuにご連絡ください。

・お問い合わせ： [email protected]

・公式Twitter ：https://twitter.com/stuinc_

・公式Facebook：https://www.facebook.com/stuinc00

・公式HP：https://stu.inc/

■カバー株式会社について