「Magic Leap」が動画や開発者向けページを公開 日本のVR開発者でも話題に
マイクロソフトの「HoloLens」と同様に、現実世界に情報を表示させることを目指している会社がある。Magic Leap（マジックリープ）だ。
2014年秋に、Googleを始めとした複数の企業より5億4200万ドルという巨額の投資を受けたことで話題となったが、上のCGの象が手のひらに載っている画像を紹介して以来、沈黙を保っていた。
しかし、10月19〜21日に米国カリフォルニアにて開催された「WSJD Live」に合わせて、10月20日に新しい紹介動画をYouTubeで公開した。
動画では、オフィスの中にロボットが現れ……。
さらに机の上で太陽系の惑星が浮いている様子が示されている。発表によると、特殊な映像加工は一切していないという。
CEOのRony Abovitzは、「われわれは研究室で理論を構築している段階ではなく、多数出荷するために、開発や製造を加速しているところなのだ」と語ったという。
しかし彼の口からは、発売時期、価格、MagicLeapとして今回の製品に期待していること、などは明言されなかった。ただひとつ、彼が表現しているのは、「マトリックスやハリーポッターの一部のようなイメージだ」ということのみである。
この動画公開を受けて、日本のVR開発者の間でもちょっとした議論を呼んでいた。例えば、実写の机の脚にCGのロボットが隠れる際にどのように処理しているのか、実視界のコントラストを下げることでCGを明るく見せて背景の実写を見せないようにしているのではないか、といった話題だ。
Magic Leapのこれ、撮影環境が分らないけれど、光学シースルーなんでしょうか？
https://t.co/7VI6Jrc2wz …
オクルージョンが正しく、焦点面がCGと実視野で異なる様子が見えます。光学シースルーでのオクルージョン表現が実用になったとは信じ難いのですが…
— あるしおうね (@AmadeusSVX) October 22, 2015
＊オクルージョン表現……手前にある物体が奥のものを隠すこと。CGの前に実写の物体があるときに、きちんとCGが隠れているかどうかの表現を指す。
光学シースルーでのオクルージョン表現は、AR界隈では長年のテーマ（？）で、現阪大の清川先生が開発された「ELMO」ftp://hitl.washington.edu/pub/publications/r-2003-19/r-2003-19.pdf
が先駆者ですね。
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX ELMOは、実視界をレンズで取り込み、一度リレー光学系によって一度結像させ、その面に液晶を配置して実視界のマスキングを実現しています。リレー光学系は長い光路を必要とするため、目の周りをぐるっと回る凄い配置になっています。
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX 忘れもしない2004年、お風呂に入りながら全く同じ方式を思いついてこれだ！と思ったのですが、サーベイすると3〜4年も前に清川先生が実現されていたのを見て、がっくりきた苦い思い出がありますorz
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX 何かこれだけだと3DトラッキングのCG動画にしか見えないですよね…
— 野生になった野生の男 (@yasei_no_otoko) October 22, 2015
@yasei_no_otoko 未加工の動画です、と言われても、どんな環境で撮影したのかが無いので確定的な事が未だに分らないですね…
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX @yasei_no_otoko 焦点は両目を内側カメラで追って、両目の焦点に合わせてARの画を作るライトフィールドな手法、オクルージョンはまた別のカメラでTangoみたく実物の奥行きを取得して計算、で、最終的な画を網膜投射すれば行けるのかな？てきとーです。
— VR追及中 えむのき@Wizapply (@emunoki) October 22, 2015
＊ライトフィールド……ピントをあとから変えられる方式の撮影方法
@emunoki @yasei_no_otoko ライトフィールドで表示できるのであれば、目の焦点をトラッキングする必要は無いですよ。距離＋実視界をカメラで撮影しつつ、ライトフィールドディスプレイで奥行きを含めた表現をしている、等の想像は出来ますが、どうにも確証が無いですね。
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX @yasei_no_otoko ああ、そうか、ライトフィールドだと、全方向に光を保持してるからそもそも瞳孔を追う必要はないですね…。あ、でも今見ている焦点に一致したARを描画するには瞳孔追う必要があるのでは？と思うんですが、どうでしょうか。
— VR追及中 えむのき@Wizapply (@emunoki) October 22, 2015
@emunoki @yasei_no_otoko 「全方向に光を保持している」の意味が少し異なっていて、視野を光線の束として表現しているので、描画も光線の束になるんですよ。描画負荷が大変な事になりますが、瞳孔を追う必要すらないです。
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX @yasei_no_otoko あ、なるほど！ARで描画するのは、焦点に合わせる必要があると考えていました。有難うございます！ライトフィールドで描画するとなると負荷も大変なものになりそうですが、網膜に投射する光学シースルーで実現が可能なのでしょうか？
— VR追及中 えむのき@Wizapply (@emunoki) October 22, 2015
素人的に、キネクトみたいな感じで環境の立体情報を得て、映像の深度と比較して隠れるべきところは描画しないとやってるのかと思ったたけどそれが難しいってことなのかしらん(´･_･`) https://t.co/aM6kfFBrmu
— omanuke (@omanuke) October 22, 2015
@omanuke CGの描画だけで完全なオクルージョン表現が出来るのは、ビデオシースルー環境になります。光学シースルーの場合には、実視界に重畳したCG画像が透けてしまうため、これを不透明にするための光学的な仕組みが必要になります
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX 外界の深度より映像の深度が奥の場合、そこの部分だけ表示しない、その映像だと机の脚の裏に隠れた時は足に重なる部分は表示しない＝透明なので足が見える＝人間の目には足の裏に隠れてるように見えるってことかと思ったんですが違いますかね?
— omanuke (@omanuke) October 22, 2015
@omanuke 光学シースルー方式とは何か、と言うのを調べられる事をお勧めします。実視界を手前に表現する事は容易ですが、不透明なCGを手前に表現する事が非常に難しいのです。
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX 光学シースルーの技術的側面はわからないのですが、不透明なCGを手前に表示するのはHololens含めておおむねできるようになったんだーと思ってるぐらいです。
— omanuke (@omanuke) October 22, 2015
@AmadeusSVX ここでの話はそれに対してオクルージョンどうやってるんだろうという話が出たので手前に何かあるならその部分表示しなければいいだけではと素人的に思ったのです。
— omanuke (@omanuke) October 22, 2015
@omanuke Hololensでは、実視界を暗くしているだけで、不透明な表示は出来ていないですよ。今の所研究段階以上でこれを実現した製品はまだ出ていないです
— あるしおうね (@AmadeusSVX) October 22, 2015
後半はちょっとトラッキングがバタついてる…？オクルージョンすごい…けど遮蔽部分がこの動画だと固定物直線のみですね…。 https://t.co/kgwOwgsjEW
— MIRO (@MobileHackerz) October 22, 2015
@MobileHackerz 直線物＋綺麗過ぎるのが気になります。距離画像の計測結果を整形しても、ここまで綺麗になるかどうか不明ですね。事前作成したCGデータを併用すると可能ですが、ううむ…
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX この動画の構成なら（本当にできるのであれば）動画冒頭手前にある葉っぱに隠れさせてもいいはずだと思うんですよね。それをやらず机の天板と脚だけでオクルージョンを示しているってことは、やはり机のモデルデータを別に持ってるんではないかなと…
— MIRO (@MobileHackerz) October 22, 2015
@MobileHackerz 適当に撮ったように見えて、（適当ぽさも含めて）色々と演出されている気がしますねｗ あと、実は前半の背景もほぼ黒で、実視界がこの位暗ければ、半透明の重畳でも十分なのかもしれません
— あるしおうね (@AmadeusSVX) October 22, 2015
@AmadeusSVX 前半を舐めるように見ているのですが、葉っぱに絶妙にかからない位置だったり、机の角の曲線部分がどう処理されてるかなと思ったいたらそこにかかる絶妙なタイミングでフェードアウトしたりと絶妙すぎてつらいですｗ pic.twitter.com/KTXkftlQsz
— MIRO (@MobileHackerz) October 22, 2015
@MobileHackerz 確かに…良く見たら絶妙のタイミングですねｗ
なんというか、技術的にトップレベルなのは間違いないとは思うのですが、ブレアウィッチプロジェクト的な雰囲気を感じます
— あるしおうね (@AmadeusSVX) October 22, 2015
HoloLensの場合、2016年の1月に3000ドルで開発機を発売することが明らかになっている。しかし、MagicLeap社は、発売時期や価格についての明言を避けている。
公式ページも更新されており、体育館からクジラが飛び出す映像が見られる。また、21日よりDEVELOPERSページを設けて、「非公開の元に可能性の話をしたい」と開発者を募っている。
現状ではこの映像通りの体験ができるのかはわからないが、もしできるならば映画やアニメのような体験が実現することになる。謎めいているのは相変わらずだが、もう少し動向を見守っていきたい。
●関連リンク
・Magic Leap Demo（YouTube）
・Magic Leap
