究極のAR-HMDを目指して【ティーポットの独り言】

2017年03月11日 10:482017年03月11日 14:27 PANORA HoloLens, レポート

先週、日本に一時帰国した際、話題になっていた映画「ソードアート・オンライン -オーディナル・スケール-」を観てきました。ARに興味のある方は、参考になる＆自分ならこう作るというインスピレーションを得られる、という二つの意味で視聴をお勧めします。

こんにちは、あるしおうねです。

2017年2月に日本国内でも発売されたことを受け、光学シースルー型のAR-HMDであるHoloLensがVR/ARの開発者界隈で最近話題になっています。HoloLensは実環境とぴったりずれのない位置トラッキングが桁外れに高性能とされる一方で、表示される画像の視野角が狭い、という声も挙がっています。Microsoftの公式見解としては、文字が読める画素密度を維持するために、今は敢えて視野角を狭くしているとのことですが、今後改良されていくと予想されます。また、HoloLensを始めとする光学シースルー型のAR-HMDには、視野角だけでなくその他にも解決するべき課題が複数存在します。

では、どのような進化を経て真の光学シースルーAR-HMD^*1が完成するのでしょうか？　今回は、昨年10月にStanford大学で開催されたHoloLensの光学アーキテクトであるBernerd Kress氏の講演を参考にしながら、AR-HMDの未来について解説していきたいと思います

AR-HMDはあと3回変身を残している！

HoloLensの光学シースルーHMDとしての表示部分の機能は、20年以上前から存在するAR-HMDと比べると、視野角は若干広がり、接眼部は薄型になっているものの、意外にもそれ以外の機能は大きく変わっていません。もちろん、HoloLensの光学アーキテクトであるKress氏もそれは十二分に把握しており、今後実現するべき機能を以下のように定義しています。

・より小さく、薄く、広く（＝広視野角）
・輻輳調節矛盾の解決
・不透明描写、光の引き算の解決

以下で、これらの機能について一つずつ簡単に解説していきます。

より小さく、薄く、広く

HMDより、むしろARグラスと呼ばれるように、多くの人は最終的に眼鏡的なARデバイスをイメージしていると思います。表示部分は現在のHMDより、より小さく、薄く、それでいながら視野角は広い物が要求されています。かつてのAR-HMDでは、実視界とCGの重畳のために眼前にハーフミラーを配置する方式が多く、これが視野角の制限かつ厚みの原因になっていました。

ハーフミラーを45°傾斜して配置したかつてのAR-HMD^*2

近年のHMDでは、このハーフミラーを自由曲面化してレンズの役割も持たせ、視野角を拡大した改良方式が開発されています。

自由曲面ハーフミラーで視野角を広げたMeta 2（MetaVision公式ページより）とその概念図^*3

しかし、これは見ての通り突出した部位で上方向への視野角は限られており、薄型ではありません。大きさ、厚みが問題にならない業務用のヘルメットなどへの搭載に向く方式と言えます。

一方で、薄型化を実現するためにLightguide Optical Element:LOE（導光光学素子）やExit-Pupil Expander:EPE（射出瞳拡張光学系）^*4と呼ばれる光学系も開発されています。

分割されたハーフミラーを内部に組み合わせた薄型のLOEを採用したLumus（Lumus公式ページより）とその概念図^*3

回折格子を光学素子として用いるDiffractive Optical Element:DOEによるExit-Pupil Expander:EPE（射出瞳拡張光学系）を採用したHoloLens（Microsoft公式ページより）とその概念図^*3

これらの方式は前記の自由曲面ハーフミラー程の視野角はまだ得られていないものの、接眼部を薄型にできるメリットがあり、近年採用例が増えてきています。こちらの方が目標のARグラスに近い形状ですが、視野角の改善が現状の課題です。

輻輳調節矛盾の解決

難しい言葉が出てきましたが、これは現状のHMDが正しい立体像を表示できていない、という問題です。現状のHoloLensを含むほとんどのHMDは、画像を固定したピント面（調節位置）で表示しているのですが、観察されるCGの物体はそれよりも近距離もしくは遠距離に存在する場合があります。この時、左右の眼球は距離に応じて角度をつけて物体を観察する（これを輻輳と呼びます）のですが、この輻輳した視線が交差する距離と、固定された調節の距離は必ずしも一致しません。この一致しない状態を輻輳調節矛盾と呼び、目疲労やVR酔いの原因とされています。

輻輳調節矛盾の図^*5。調節距離＝accommodation distanceと輻輳距離=vergence distanceが一致していない状況が分かります。

この問題を解決するには、下記のように複数の技術的なレベル（近い将来〜10年以上後）で解決方法が提案されています。

●可変焦点方式

CGを表示するピント面を固定でなく、複数設定できる方式です。原理的には可変焦点レンズもしくはミラーを用いて、表示されるCGのピント面を高速に近距離、中距離、遠距離に振り分けています。今の所、可変焦点レンズや液晶などの画像素子の更新速度に上限があるため、設定できるピント面の数に限界があります。下図に示した研究では、ハーフミラーを可変焦点ミラーに置き換えて、100°の広視野角と可変焦点を両立させています。ただし、構成が近いMeta2と同様、現状ではまだ薄型ではありません。

変形メンブレンミラーによる可変焦点方式のHMD光学系^*6

●ライトフィールド方式

表示像を一枚のピント面としてでなく、実視界と同様に光線群＝ライトフィールドとして表現する方式です。光線の密度が十分であれば、あらゆる距離のCGに対して適切なピント位置を設定できるようになります。更に、輻輳によって瞳孔の位置が若干変化（＝視点位置が変わる）する場合にも、変化した位置からの正確な像が観察できます。本方式もいくつかの手法が研究されていますが、まだ画像素子（液晶や有機ELなど）の限界で光線を十分な密度で出力できず、画質には改善の余地があります。また、光線群の算出方法が既存のポリゴンベースと異なり、レイトレーシングに基づいた描画が必要となるため、グラフィックス処理にも大幅な変更が必要になります。

なお、2017年3月9日に、Avegant社からライトフィールド方式とされるHMDが発表されましたが、本項で述べているライトフィールド方式と同一かどうかは今の所不明です。

また、巨額の資金調達で知られるMagic Leap社が開発中のAR-HMDも、ライトフィールド方式とされていますが、こちらも詳細は不明です。

ライトフィールド表示を可能にしたVR-HMD光学系（上）とその表示画像（下）^*7。同じ表示画像を異なる焦点位置で3枚撮影したFront～Rear focusの画像で、右端の文字のボケ具合が変化しているのが確認できます。なお、本光学系には光学シースルー機能は無く、AR向けには別途付加する必要があります。

完全なライトフィールド出力ではないものの、一切の屈折/反射光学系を用いずに光線群の出力が可能なPinlight displays^*8

●ホログラム方式

覗き込むと、まるで立体物が浮かび上がるように見えるホログラムは、皆さんも一度は見たことがあると思います。本方式はこのホログラムを、焼き付けられた静止画としてでなく動画として生成する究極の表示方式です。

ホログラムは入射光同士の干渉を制御することで、ライトフィールドの光線群に相当する出射光をより高密度に生成することができます。現状では、入射光の干渉を制御する空間光変調素子（液晶などの画像素子を使う）の制限がライトフィールド方式よりも厳しく、ライトフィールド方式以上に画質に改善の余地があります。又、ライトフィールド方式の光線群の算出に加えて、光線群を出力するための干渉模様の計算が必要となるため、プリレンダリングでないリアルタイム表示にはさらなる計算アルゴリズムや計算機(専用のGPU等)自体の改良も求められます。

解像度変換という手法を用いて、空間光変調素子の解像度を向上させて画質を改善したホログラム^*9

●マクスウェル視方式（網膜照射/走査方式）

こちらは上記の各形式と異なり、表示されるCG像のピント面が存在しない特殊な表示方式になります。眼球の水晶体でピントを合わせる必要がなく、遠くを見ていても近くを見ていても常にくっきりとしたCGが観察できます。ただし、そのままでは視野角を広げるのが難しく、光が一点集中している点（正面を向いた時の瞳孔位置）から目を逸らすとCGの表示像が消えて見えなくなってしまうため、これらの改善には追加のアプローチ（アイトラッキングを組み合わせるなど）が必要になります。本方式は、VR/AR向けというよりも、目の調節機能が十分でない弱視患者のための視覚補助ディスプレイとして期待されています。

網膜走査型のレーザーアイウェア（QDレーザー公式ページより）

上記の可変焦点〜ホログラム方式への進化の流れは、MSのKress氏だけでなくOculusのAbrash氏もOculus Connect 3において近い見解を述べており（5年後には可変焦点方式の実用化を想定）、少なくとも現時点においては正攻法のグランドデザインだと思われます。目が悪い筆者としては、マクスウェル視方式のVR/AR分野への応用も期待したい所です。

なお、本項で述べた輻輳調節矛盾については、*5の文献で、非常に詳細な課題の説明と解決策の研究の紹介が行われています。より詳しく知りたい方は一読をお勧めします。

不透明描写、光の引き算の解決

HoloLensやEPSONのMoverioを体験された方はご存知と思いますが、既存の光学シースルー型HMDは、光の足し算しか行えません。そのため、CGの影を現実環境に落とす（＝現実環境を部分的に暗くする）などの表現は不可能です。また、表示されるCGは実環境より常に明るく半透明で、現実感が得られにくい課題があります。

HoloLensの場合、サングラス的なスモークパネルを前面に配置することで現実環境の視界全体を暗くして、CGのコントラストを高める工夫を行っています。これは表示されるCGの見かけの透明度を下げるのには非常に効果的なのですが、完全に不透明にはならず、影が表現できない課題も残ります。

上記課題は、根本的には任意の部分的な領域で光の引き算が行えない事によるものです。このような部分的な光の引き算を実現するための研究も、下記のように行われています。

●焦点面マスク方式

実視界をCGと同一の焦点面で一度結像させ、焦点面上に配置した液晶で実視界の光の引き算（マスク）を行う方式です。一眼レフカメラの構造をご存知の方であれば、フォーカシングスクリーンの位置に液晶のマスクが配置されている、と考えると分かりやすいかもしれません。現在でもある程度の画質でマスク可能な試作システムが作られていますが、表示部分が大型で、実視界の焦点面が固定されてしまうため、光学シースルー型のメリットの一つが失われる課題があります。

結像させた焦点面上で視界のマスク行うELMO: An Enhanced Optical See-Through Display^*10。左が通常の光学シースルーHMDでの見え方、右が本HMDでの見え方になります。不透明なCGの描写と、実物体（人物）でCGが正しく遮蔽されている様子が確認できます。

●ライトフィールドマスク方式

焦点面マスク方式と異なり、目に入射する現実環境の視界を構成する光線を、一度も結像させることなく光線単位でマスクして引き算を行う方式です。概念としては光の引き算を行う影のライトフィールドを生成すると考えてもらうと分かりやすいかもしれません。実視界の焦点面も固定されることのない究極の方式ですが、先述の（光の）ライトフィールド同様、表示方式や画像素子（遮光可能な液晶パネル）の限界で十分な密度の光線群が出力できず、まだ鮮明なマスクは行えていません。

ライトフィールドによる視界のマスクを行うComputational Augmented Reality Eyeglasses^*11。Dが通常の光学シースルーHMDでの見え方、Eが影のライトフィールドで部分的にマスクされた視界、Fが本HMDでの見え方になります。

筆者は、後者の手法が何らかの形で発展して、ライトフィールドディスプレイとして将来的に実用化すると予想していますが、現状では片方だけでも困難な光のライトフィールド、影のライトフィールド双方の同時出力は、非常に高い技術的ハードルと言えます。

まとめ

駆け足ではありますが、これからの光学シースルー型AR-HMDに必要な3要素について、現状の課題と解決策の研究を紹介してみました。いずれも技術的な難易度は高く、さらに3要素をすべて成り立たせるには、それぞれの技術を組み合せたシステムを構築する必要があり、さらに難しいことが想像できると思います。

今回長さの都合で省略した内容も多いため、要望が大きければ今後個別の要素について詳しく掘り下げる機会も設けられればと思っています。特に不透明描写、光の引き算については、光学シースルー型のAR/MR特有の課題であり、VR-HMDと比べて難易度の高い点と言えます。

これらの課題は、1〜2年程度で解決する程容易ではないので、各社は長期戦で考えているように思います。それぞれどのように解決されていくのか、あるいは予想外のブレークスルーが起きて発展が早まるのか、これから楽しみです。

*1：Microsoftは公式にはMixed Reality:MRと呼称していますが、本連載では「実空間と情報空間を紐づけて表現するアプローチ」を総じてARと定義しています（各社製品含めて）。AR/MRといった言葉の定義と別に、HMDの光学的な機能については個別に正確な議論が必要なため、敢えて呼称はARで統一しています。ご了承ください。
*2：Azuma, Ronald and Gary Bishop. Improving Static and Dynamic Registration in an Optical See-Through HMD. Proceedings of SIGGRAPH ’94 （Orlando, FL, 24-29 July 1994）, Computer Graphics, Annual Conference Series, 1994, pp.197-204
*3：Stanford大学講義資料：HMD Display Optics and Microdisplays Iより
*4：HoloLensにおける射出瞳拡張光学系は、薄型なだけでなく、文字通り射出瞳を拡張して観察位置（＝瞳孔の位置）が多少動いても表示像が消えないよう工夫されているのですが、今回はこの詳細については割愛します
*5：Kramida G., “Resolving the Vergence-Accommodation Conflict in Head-Mounted Displays.“, IEEE Trans Vis Comput Graph. 2016 Jul;22（7）:1912-31.
*6：Dunn D, Tippets C, Torell K, Kellnhofer P, Aksit K, Didyk P, Myszkowski K, Luebke D and Fuchs H.:”Wide Field Of View Varifocal Near-Eye Display Using See-Through Deformable Membrane Mirrors.”, IEEE Trans Vis Comput Graph., 2017 Jan 23
*7：F. Huang, K. Chen, G. Wetzstein. “The Light Field Stereoscope: Immersive Computer Graphics via Factored Near-Eye Light Field Displays with Focus Cues”, ACM SIGGRAPH （Transactions on Graphics 33, 5）, 2015.
*8：Maimone, A., Lanman, D., Rathinavel, K., Keller, K., Luebke, D., and Fuchs, H. “Pinlight Displays: Wide Field of View Augmented Reality Eyeglasses Using Defocused Point Light Sources.”, SIGGRAPH 2014 （Vancouver, Canada, August 10-14, 2014）
*9：高木, 林, 種本, 解像度変換光学系を用いたホログラム表示モジュールの提案, 映像情報メディア学会技術報告 33（16）, 37-40, 2009-03-17
*10：Kiyoshi Kiyokawa, Mark Billinghurst, Bruce Campbell, Eric Woods, “An Occlusion-Capable Optical See-Through Head Mount Display for Supporting Co-Located Collaboration”, ISMAR 2003, pp.133-141.
*11：A. Maimone and H. Fuchs, “Computational augmented reality eyeglasses”, Mixed and Augmented Reality （ISMAR）, 2013 IEEE International Symposium on, pp.29-38