HoloLens x Kinectで大幅に使いやすくなった「HoloPortaionLite」【CEDEC 2017】

パシフィコ横浜にて8月30日から3日間にわたり行われたCEDEC2017。今回は日本マイクロソフトに勤めている千葉慎二氏による「HoloLens x Kinect ／ HoloPortaionLiteの実装と応用」のセッションを紹介しよう。

千葉慎二氏

千葉氏は日本マイクロソフトでゲーム機向けのWindowsOSやXboxSDKの開発などを行っており、近年はKinectやHoloLensといった新しい技術の啓蒙活動を行い、研究者や学生向けの支援活動も担当している。

その千葉氏が語る本セッションでは主にHololensやKinect for Windows v2（以下、Kinect）を組み合わせて使用するコミュニケーションシステム「HoloPortationLite」の実装手法や開発環境について解説をしていた。

HoloPortation　ツール解説動画（英語）

「HoloPortatin」とはHololensと8つ以上の深度カメラを使って遠隔地にいる人の実体を見ながらのコミュニケーションを可能としたツール。

今回のHoloPortationLiteは、HoloPortationに対し、複数箇所に設置する必要があった深度カメラの代わりに1台のKinectでも使用可能にし使用環境の簡略化を図ると共に自由度を高めたものである。

HoloPortationLiteを使用する機材構成は画像の様になっており、基本としては撮影用にPCへ接続したKinect、投影にHololensを使用している。

KinectはインテルのミニPC「NUC」へ接続しており、今回開発したKinectの映像をHololensへ送るためのアプリケーション「KinectToHololens」をインストールしている他、ディスプレイで自分の姿を確認できるようになっている。

またHololensはKinectから送られた映像を処理するためのアプリケーション「HoloPortationLite」をインストールしておりHoloPortationLiteをインストールしてあれば複数のHololensでの視聴が可能だ。

一般の人でも機材とソフトウェアさえ用意してしまえば難なく使用する環境を整えることができそうなHoloPortationLiteだが、やはり開発は一筋縄ではいかなかったという。

ぶつかった問題としてはパケット・ロスによる映像品質の低下や日によって変化する転送レート、Hplolensのパフォーマンス不足によるフレームレート低下などがあった。

それらの問題の原因は主にHololens側にあり、データの送信方法やポイントクラウドという映像の表示方法もよくなかったといい、その時点では10fpsしかでていなかった。

それらの改善策としてシーン全体の深度とカラーテクスチャをデータとして送っていたものをシルエット内部のデータのみに限定したことや、ポイントクラウドで表示していたものをポイントスプライトで表示することによって画質の大幅な向上を果たした。

しかしその改善だけでは実用的とは言えなかったため、さらにドローコールやシェーダーの改善、通信量を抑えるためにパケットの圧縮をするなどの改善に次ぐ改善を行った。

そして現段階では30fpsでの動作を安定させ、ある程度のグラフィックエフェクトをかけることも可能となった。しかしKinectの台数を増やすなど受信方向を増やしてしまうとパフォーマンスが落ちてしまうので、そこがまだ課題であるとのこと。

現在実験段階であるがHoloPortationLiteの技術を使った遠隔診療や在宅医療などの医療分野への取り組みを行っている。またこのような技術であれば医療以外の様々な分野においても力を発揮するだろう。

＊CEDEC 2017記事まとめはこちら