Dentsu Lab TokyoとStuは、画像生成AIという話題の技術を用いて、オーディエンスがリアルタイムで参加できるライブ体験を提供するツール「LAIV（ライブ）」を開発（ニュース記事）。今回、4月13日に行われた試験運用第一弾のメディア向け体験会に参加したのでレポートする。
LAIVを簡単に説明すると、参加者がキーワードを入力することで3D空間にリアルタイムで画像を出力し、演出の一部としてライブに参加できるという新しいライブ体験ツールになる。
画像生成AI自体を、エモートやコメント機能のようなコミュニケーション手段として活用するアイディアが面白く、瞬時にキーワードを打ち込むのはまるでニコニコ生配信にコメントを書き込む状況を思い出して、懐かしさすら感じてしまった。
コロナ禍を経たインターネット配信のライブは、演出のクオリティーや配信ならではの体験自体が各段に向上しているが、LAIVはそれを進化させたひとつの形としての可能性を感じさせた。
第一弾はVシンガー haju:harmonicsのライブ
今回の体験会ではLAIVのプロトタイプとして、Vシンガー・haju:harmonics（ハユ・ハーモニクス）の共創型バーチャルライブが行われた。haju:harmonicsは「ひとつの身体にふたつの声を持つVシンガー」というコンセプトで活動しており、楽曲の表現に電話やVRChatを利用するなど、オーディエンスの体験そのものをデザインするような独自の表現力が魅力のVシンガー。TVアニメ「ヴィンランド・サガ」SEASON 2のエンディングテーマに採用されるなど、自由な企画力や表現だけでなく実力も折り紙付きだ。
新しいライブ体験のプロトタイプとして、そんなhaju:harmonicsを起用したことはプロジェクトとアーティスト双方のコンセプトに合っていて期待しかない。
LAIVのリアルタイム画像生成×ライブ
LAIVは、PCでログインするメタバースプラットフォームにはよくあるエモートボタンやコメント欄の代わりに、画像生成のためのキーワード「Prompt」（プロンプト）の入力欄があるのが特徴だ。Promptは現時点では多くの画像生成AIと同じように、英語で打ち込むようになっている。
Promptを入力して画像を生成すると、他の参加者の画像とともに壁に表示されていく。コメント欄の履歴が表示されるのはUIとしてよく見かけるが、LAIVでは他のユーザーのPromptと生成された画像のサムネイルも表示されている。
ライブ会場のフロアへ移動すると、haju:harmonicsのパフォーマンスが始まる。パフォーマンスの楽曲は「神様へ」。
誰とも気持ちを共有できない孤独感や、辛い現実に傷ついてしまう心を憂いて神様に「なぜ心まで産み出したの？」と問いかける、心の叫びのような世界観にAI生成という文脈が重なり、日進月歩で進化するAI関連技術の未来まで考えさせられるようだ。
この画像生成はライブが始まると時間経過によって、曲の展開に合わせた画像が生成されるように調整されているため、サビの部分ではhaju:harmonicsが登場するようになっているなど、同じPromptを入力し続けても異なる画像が生成されるようになっているのが面白かった。
Promptは英語で入力する必要があるため、英語に慣れていない日本語話者の筆者は歌詞にあわせて適切な単語や簡単な文章を打とうとしてスペルミスしてしまったり、瞬時に単語が思いつかないことが何度かあり、正直なところ難しさも感じた。
しかし、このちょっとした難しさに知育系ゲームのような楽しさを感じ、歌詞に合わせて急いでPromptを入力していく事自体に、ニコニコ生放送にコメントを打っていたときのことを思い出した。
後で話を聞いたところ、LAIVにエモート等が実装されていないのも、Promptを用いて画像に対して画像で返答するような画像生成越しのコミュニケーションを想定したものだという。
サビでは画像生成されたhaju:harmonicsのイラストがアニメーションとして動き出す。画像生成AIによるアニメーションもまた常に進化している分野であり、現時点では不完全とも感じられる技術がかえって「神様へ」で歌われる、生きていく意味を定義されたがっている不安定な心情を表しているようでマッチしている。
ライブが終わってエントランスに戻ると、足元の画像がライブ前のものとは違うものになっていた。
ライブ前のエントランスには「神様へ」のキーヴィジュアルが表示されていたが、ライブ後にはキーヴィジュアルとライブ中に生成された画像からなるコラージュ画像に変化するという、その瞬間に立ち会ったこと自体もアウトプットされるところがよかった。現時点ではこの画像をダウンロードしたりSNSシェアする機能は実装していないとのことだが、検討中とのこと。
LAIVの今後の展開
LAIVはDentsu Lab Tokyoがユーザー参加型のライブと画像生成AIを組み合わせた体験を模索するために始めたプロジェクトで、Dentsu Lab Tokyoが映像やインスタレーションの制作に定評のあるstuとともに開発している。
stuはボーイズグループ・BE:FIRSTの楽曲「Boom Boom Back」にて、リアルタイムクラウドレンダリング技術を活用したウェブブラウザ上で体験できるバーチャルライブ体験を提供した実績がある。メタバース空間内にファンが集まってボリューメトリックライブを鑑賞するというもので、訪れるファンで連日満員だったという。
LAIVは現時点では正式なリリース時期などは決まっていないとのことだが、いずれ本リリースになった際にはたくさんのユーザーと一緒に英語でPromptを入力して画像を生成するライブ体験をして楽しみたい。
（TEXT by ササニシキ）
●関連リンク