AR/VRと言葉の壁を越えて対話を実現！グラニ「Project Sonata」が目指すもの【SXSW2017】

2017年03月20日 10:302017年03月20日 10:21 PANORA HoloLens, HTC VIVE, レポート

米国時間の3月10～19日、テキサス州オースティンにて開催されているクリエイティブコンテンツの祭典「SXSW 2017」。メインの展示会場となっているオースティンコンベンションセンターを中心に、街のホテルや店舗、オフィスにて展示や講演、勉強会が行われている。

今回取材したグラニは独自のブースを用意せず、浴衣とHoloLensで各会場や街中を歩きながら、興味を持った人に体験してもらうという独自スタイルでデモしていた。これもSXSWならではのPR手法だろう。そんな彼らの掲げる新しいプラットフォーム「Project Sonata」を紹介していこう。

ARとVRを融合した新しいコミュニケーション

Project Sonataの発表は3月初旬で、今回のSXSWが初めてのデモ公開となる。AR／VRゴーグルをかぶったユーザーがネットに接続すると、フクロウのアバターとなって同じ空間に表示される。そこで何かしゃべると、その言葉を認識してテキストとして表示してくれて、コミュニケーションできるというシステムだ。

このように、HoloLensをかぶった人同士が集まり……。

互いにしゃべると、その内容がチャットウインドウに表示される。相手の前にはアバターが表示されており、本人が動くと追従する仕組みだ。

写真では4人だが、実はグラニの東京オフィスでHTC VIVEをつけた人が1人ログインしており、合計5人でチャットしていた。現実にCGが重なっているHoloLensとは異なり、HTC VIVE側ではバーチャル世界にアバターやチャットウィンドウが表示されている。

ポイントとしては、日本語／英語のリアルタイム翻訳機能を備えているという点だ。もう少し詳しく説明すると、AirTap（HoloLensの人差し指を差し出して前に倒すジェスチャー）をすると、音声認識モードになり、ここで好きな言葉をしゃべるだけで、認識された音声がインターネット経由でGoogle翻訳に投げられて、結果が随時現れる。

いくつかの言葉は、音声コマンドとして常に認識できるようになっている。例えば、「English mode」と話しかければ英語認識になり、「Japanese mode」と話しかければ日本語認識、「Hide Window」でウインドウを非表示にすることが可能だ。

ARとVRがくっついた世界をいち早く実現したい

VR部長の福永氏によると、グラニではARとVRが分けられて考えられている現状に違和感を感じており、将来的には両者がくっついた世界が当たり前になると考えている。世の中に対してそうした未来をいち早く見せて、感化された人たちが同じようなコンテンツを作ってくれたら──。Project Sonataには、そんな思いも込められている。

翻訳機能を入れた経緯は、アプリをつくるにあたって、VRの世界でアバター同士でコミュニケーションが取れる「AltSpace」や「vTime」を試したところ、英語の壁があってコミュニケーションをとるのが難しかったからだという。また、知り合い同士でない限り、いきなりチャット空間に入ってもコミュニケーションをとるのは難しいと考えて、NPC（Non Player Character）のアバターとして「セバス」も同じ空間に参加させた。

セバスに話しかけることも可能で、例えば「Tell Me A Story」と呼びかけて適当なお話を語ってもらえる。

開発期間は約1ヵ月で、5名で作り上げた。メインエンジニアの鈴木氏によると、最も苦労したのは、4台のHoloLensで同じ空間を素早く共有する仕組みをつくることだったという。HoloLensには「Sharing」という共有機能があり、複数のHoloLensが見ているオブジェクトをリアルタイムに共有できる。しかし、Sharingをそのまま使うだけでは速度が足らなかったため、独自の工夫をして解決したとのこと。

ちなみにSonataという名前の由来だが、自分を示す「i」ではなく、あなたを尊重するという意味を込めて「其方」（そなた）から取ったという。今後の展開だが、2017年内に次バージョンの発表を予定しているそうだ。気になる人は、引き続きグラニのウェブサイトをチェックしてみよう。

メンバーでの記念撮影。この姿で歩いたことで、現地でもかなり注目を集めたそうで……。