fVisiOn：机上のミクさんを好きな角度で眺められる！ 中身は未来都市【SIGGRAPH ASIA 2015】
＊本原稿は、神奈川工科大学情報学部情報メディア学科、白井暁彦准教授よりご寄稿いただきました。
「ミクさんマジ天使」といって机の上で肘をついてため息をついているあなた。そのミクさんがその机に光臨する日が早くもやってきたようです。しかもコンピュータやメガネなどの装着物なしで！
2015年11月2〜5日に神戸国際展示場・展示場で開催されたコンピュータグラフィック（CG）とインタラクティブ技術の国際会議「SIGGRAPH ASIA 2015 Kobe」よりご報告です。
SIGGRAPHはCG業界、特にコンピュータ・アニメーション・フェスティバル（CAF）を中心に「映画・映像業界の国際会議」という印象を持っている人も多いかもしれないけれど、実は43年のCGの歴史において、半分以上はリアルタイムグラフィックス技術とインタラクティブ技術、そしてVR技術における世界の頂点でもあります。
特に「行って見る、体験する必要があるプログラム」がそろう「Emerging Technologies」（E-Tech）という先進技術を紹介する技術デモゾーンは、会議登録パスの中でも数万円するベーシックカンファレンス以上でなければアクセスできないゾーンだったので、会場に行ったけれどもあったっけ？という人も多いかもしれないですね。
非常に刺激的な展示が並ぶそのE-Techにおいて、プログラム委員会によるベストデモ賞を受賞したプロジェクトが「FVisiOn: Interactive Glasses-Free Tabletop 3D Images Floated By Conical Screen And Modular Projector Arrays」です。直訳すると「FVisiOn」は「円錐スクリーンと部品化プロジェクター列による、浮遊するインタラクティブなメガネなし卓上3D画像」となります（以下、開発者であるNICT ユニバーサルコミュニケーション研究所の表記に従い「fVisiOn」と表記します）。
ではまずミクさんに、一曲歌っていただきましょう。実物は大変撮影しづらいこともあって、公式サイトにある動画から紹介します。思いっきり音が出ますので、スクリーンショットでも解説していきます。
曲はniconicoに投稿されたちょむPのボーカロイド曲「教えて!!魔法のLyric」がオリジナル。「踊ってみた」でも人気の曲で、3DCGソフト「MikuMikuDance」向けにモーションデータが配布されています。
何故か、カラオケ気味で始まる動画。NICTって情報通信研究機構っていう国の研究所なんですけど、こんなにポップで大丈夫なんでしょうか。へんな心配をしてしまいます。
いわゆるステレオ2眼立体視では「奥行き・飛び出し」しか表現しませんよね。
奥行き感だけでなく、「テーブルに浮かぶ360度から観察できる」立体ミクさんが実現できる。本当に、360度どの位置から見ても正しいミクさんが見えます。
メガネなし立体ディスプレイを見たことがある人もいるかもしれませんが、普通は自分の視聴位置によって像がフニフニ動いてしまったりするものなのです。もちろんこの状態で観る側には何の装備もしていません。メガネ不要です。
ぼやけてはいますが、逆にデジタルというよりは神秘的な妖精ぽく感じるかも。
実物の小物がありますが、その前後にあるものとも破綻がないのです。そして研究のスタートとなるコンセプトがすばらしいです。
fVisiOnのコンセプトをまとめると、
1. テーブルの上は自由に使える
2. みんながそれぞれの視点で見える
3. みんなで自然に使える
……という特徴を持ったテーブル形の3Dディスプレイであることがわかります。
特殊なメガネやHMDを使わずに自然に使えて、しかもテーブルとして座ると、みんなそれぞれの視点で見たいと思いますよね。そうなると、さまざまな視点の映像を同時に生成する必要があります。
あれ？よく見てください、この画像は鏡に映っている像です。CGで生成された鏡ではなく、卓上に置かれた実物の鏡に反射してミクさんの背面が見えています。
この「実際にそこに物があったらどう見えるか？を計算」することを「光線空間」（light field）といい、その光を再現する方式のディスプレー「ライト・フィールド・ディスプレー（LFD: Light Field Display）」が今、世界中で盛んに研究されています。
例えば、GPUで有名なNVIDIAは近年、メガネのように使う近接LFDを発表しており、ここ数年のSIGGRAPH E-Techでもお披露目してきました。
眼球は回転はしますがメガネとの相対位置は動きませんので、大変高品質な映像を知覚することができます。しかし、煩雑ですし、体験者の人数分だけメガネを着用する必要があります。
メガネなしLFDが実現すれば、現在の主力のVRデバイスであるHMDは非常に限定されたディスプレイとして過去のものになるでしょう。
メガネなしLFDの研究は日本人の研究者が多く貢献しており、2003年に元・東工大で白井の講義を受講しており、現在USC（南カリフォルニア代）の長野光希さんはSIGGRAPH 2013において「An Autostereoscopic Projector Array Optimized for 3D Facial Display」として、極小プロジェクタを大量に並べて光線空間を再現するディスプレイを発表しています。
USC Graphics Labの最新研究成果では200台以上のプロジェクターを使い、等身大サイズの人間を背面投影するデモも行っております。こちらは夏のロサンゼルスで開催された「SIGGRAPH 2015 E-Tech」でのデモや10月のお台場で開催されたデジタルコンテンツエキスポでも紹介されておりましたのでご存知の方も多いかも？
テーブルの下には「未来都市」が埋まっていた
さて、SIGGRAPH Asia 2015で展示された最新のfVisiOnについて、研究者である吉田さんにお会いできましたのでさらに詳しくお話を伺いました。
吉田さん、ブレててごめんなさい。早速ですが、気になる中身を見せていただきました。
すり鉢状の中央部にミクさんが映っています。ICカードを置くとミクさんが歌って踊ってくれるのですが、そのためのカードリーダーが設置されていますが、これはさまざまなセンサーデバイスに交換することを考えているそうです。
ってなんじゃこりゃあ！！
なんだか、未来都市みたいです。
円周状に並んでる部分が1個1個のプロジェクターモジュールで、全周実装時は最大300個を超えるそうです。このプロジェクターモジュールから中央の塔の様な、すり鉢上のスクリーンにそれぞれの視点の映像を投影しています。
露出を変えて撮影した様子です。すり鉢は特注の樹脂ですが、初期型は釣り糸を巻いて作ったそうです。すごい職人技と根性が必要な作業と想像します。
人が「物が立体的にそこにある」と理解する要因の一つは、この表面から様々な方向に光線が出ているという現象です。fVisiOnは、テーブルの下に円状に並べた大量のプロジェクターと円錐型の光学素子（背面投影式の特殊なスクリーン）を使い、この机の上に物がある光の状態を、テーブルの円周方向に再現する原理となっています。例えば、Pの位置のプロジェクターは、EaやEbといった複数の異なる視点位置に届く光線を同時に再生しています。一般的なCGでは、視点側（例えばEaやEb）から見た映像を計算するため、fVisiOnで必要とする計算は、標準的な手法で簡単に作成することはできなかったそうです。
そこで、再生したい3D形状の表面が放つはずの様々な光線を、幾何学的に一つ一つ計算する専用のソフトウェアを開発しましたが、大量の光線計算に長い時間がかかる上に、元データ（コンテンツ）の制作にも専門的な光線幾何学の知識が必要でした（通常はリアルタイム用のレンダリング手法もしくは特殊なshaderを開発します）。
今回のSIGGRAPH Asiaで公開されたこのデモ映像は、事前に計算生成された画像ではありません。2台のPCからUnityをつかってリアルタイム生成された映像なのだそうです。
ちょうど、ゲーム的な応用をデモするためのUnityプロジェクトを開いているところです。fVisiOn向けの特殊なレンダリングをするためのshaderを開発されたとのこと。
キャラの向きにあわせてカードを使用するといったインタラクションが実演されておりました。さらに鏡を立てると、キャラクターの側面もちゃんと鏡にうつります。
鏡に反射した反対側のキャラクターもそれぞれ破綻なく見えることが興味深いです。カードゲームのデッキを隠すついたてなどにも応用できるのかもしれないですね。
カードリーダー部にに初音ミクカードを置くと、ミクさんが歌って踊りだします。他のデモで展示されていたゲームはこのような円卓を取り囲んで遊ぶものでした。ちゃんとキャラクターデザインもされていて、これはこれで気になる！
多くの記者さんがテーブルの内側を撮影されておりました。床の160cm, 170cmと書かれたサークルは、立って視聴するときの最適位置指標で、座ってみるとちょうど良いように設計されているそうです。
2011年の最初の発表から少しづつ進化を遂げているfVisiOnですが、現在の想定価格は数百万〜1千万ぐらいになってしまうそうです。しかし、プロジェクターモジュール自体はどんどん価格が下がっており、さらにテーブル型ディスプレイデバイスとしてMicrosoft Surface（タブレットではなくテーブルタイプ）が2011年ごろ数百万で販売されていたことを考えると、お洒落なカフェや企業のショールームといった場所にfVisiOnのようなデバイスが画像生成のPC込みで実装されることは、あながち非現実ではないかもしれません。
コンテンツも現在のOculus RiftなどのVRHMDで使用されるUnityで作れるようですから、応用の幅は大きいと思います。
なお、このディスプレイの研究開発を中心的に進められている情報通信研究機構（NICT）ユニバーサルコミュニケーション研究所 超臨場感映像研究室 吉田俊介氏によりますと「原理的には2011年に完成していたものの、気になる画質は今回のSIGGRAPH Asiaで公開されたバージョンで『1号機に比べ16倍の解像度』として刷新されました。最新の動画も公開しましたので、ぜひ研究所のサイトにも来てください」とのことでした。
2015年11月2日付で公開されており、日本語の解説動画とカードバトル風デモが公開されています。実物の迫力はすばらしく、さすがベストデモ受賞です。
以上、「メガネなし・PCなし・装着物なしVR」の最新のカタチを紹介しました。みなさんならこのテーブルでどんなVRを実現しますか？
（文・しらいあきひこ）
●関連リンク
・シーグラフアジア2015
