目的はマウスなしの未来!? 米MS、汎用ハンドジェスチャー技術「Project Prague」公表
米マイクロソフトは米国時間の5月10日、シアトルで開催中の開発者会議「BUILD 2017」にて、カメラを使ってハンドジェスチャーを認識するための技術「Project Prague」を公開した。
マイクロソフトは今年のBUILDにてカメラをマシンビジョンとして使う技術を多数披露しており、1日目の基調講演でもカメラを使って工具と利用する社員の関係を管理するデモを行った。それとはまた別に、マイクロソフトのコグニティブ（認知）サービスのひとつとして、実験的な用途を開拓する「Cognitive Service Labs」の中で開発が進められているのがProject Pragueである。
Project Pragueのコンセプトビデオ。
Project Pragueは、ハンドジェスチャーを「PCの様々な操作に汎用的に使う」ことを目的としたフレームワークだ。デモンストレーションはインテルの「RealSense」テクノロジーを使ったUSBカメラ（具体的には「RealSense SR300」）を利用しており、RGB方式の画像センサーに加えて、距離センサーも使う。
手の関節や指先の位置を把握した上で、そこからハンドジェスチャーを読み取る。例えば、スリングショット（パチンコ）打つデモでは、ゴムをつかんで引っ張る動作をすることにより、望みの強さで石を飛ばせる。インテルはRealSenseテクノロジー向けにハンドジェスチャーなどの認識をするために必要なSDKを公開しているが、そこでできることに近い。
ただし、従来、ハンドジェスチャーはアプリケーション単位での操作に使う形での実装が中心だったが、Project Pragueでは、ウインドウの最大・最小化やブラウザ上でのYouTube動画の再生・停止、Skypeでの受話・切断といった、比較的汎用性の高い使い方ができるのが特徴で、目的はズバリ「マウスやキーボードの出番を減らすこと」だ。
例えば、PowerPointへ画像を取り込み、画像を回転させてから拡大縮小、位置を揃える……というような操作を、すばやく確実に、ハンドジェスチャーで行える。その速度と正確性は、開発チームが公開している以下の動画を見るとよく分かる。
Project Pragueのデモ動画
指パッチンで
Windowsメニューを表示。
PowerPointでは、2本指を回転させることで
図形の角度を90度回転。
Skypeでは親指と小指を立てて、
倒すことで、
メッセージウィンドウを出現。
さらに親指を立てるジェスチャーで
サムズアップアイコンを送信。
YouTubeでは、親指と人差し指でつまむことで
再生開始。
手を握った状態から
開いて
フルスクリーン表示に移行。
さらにつまんで
一時停止。
ウェブブラウザーでは、手招きするように指を下に下げるとスクロールされる。
Facebookならサムズアップで「いいね！」を指示。
ジェスチャーをどう認識しているのかを示した映像。
まるで指揮者のように音楽を操れる。
こちらも上記の動画について、どうジェスチャーを認識しているかを解説。
2016年6月、開発初期に公開されたデモビデオ。どんなことができるかが非常によく分かる。
指認識にはマイクロソフトのAI技術が使われており、高速かつ正確性の高い認識ができるのが特徴。冒頭で述べたように、開発はイスラエルにあるマイクロソフトのAdvanced Technologies Labが担当しており、プロジェクトの存在自体は、2016年の6月に公開されている。開発担当者によれば、「現在のProject Pragueはかなり初期段階のプロジェクトで、より汎用性の高い技術にすることを狙っている」という。
残念ながら、現在はSDKを非常に限られた開発者へと公開する形になっている。興味のある開発者は、以下のサイトから所属や目え的を公開した上でコンタクトをとる必要がある。
＊Build 2017まとめページはこちら。
（TEXT by Munechika Nishida）
●関連リンク
・Project Prague
・Build 2017
・日本マイクロソフト
