株式会社 NTT QONOQ（以下、コノキュー）は、Mixed Reality※1（以下、MR）技術を使った医療向けサービスの実用化をめざすプロジェクト「Project the Hands」を発表いたします。
この取り組みの中で、手と道具の3Dデータを遠隔から現地に共有することで、遠隔地にいる熟練医師が研修生などに、リアルタイムにコミュニケーションを取りながらレクチャーが可能になる「Hands（仮称）」システム（以下、本システム）を開発しました。また、東京医科歯科大学と研究事業を開始し、本システムの実用化や高度化に向けて取り組みを進めていきます。本システムは、2024年1月17日（水）から18日（木）までの2日間、東京国際フォーラムで開催される「docomo Open House 2024」※2にて初展示を予定しています。
※1 MixedReality（複合現実）とは、現実世界の壁や床を認識し、その壁や床に対してデジタルコンテンツを配置・表示することが可能な技術です。
※2 「docomo Open House 2024」公式サイト：
https://docomo-openhouse24.smktg.jp/public/application/add/32
- 1. 「Project the Hands」概要
「Project the Hands」は、医療業界における「医師不足」に伴う「研修期間の長さ」「人体への物理的制約」「特殊な装置を利用するための場所・費用が大きい」等の課題解決をめざすプロジェクトです。
遠隔地（もしくは別の場所）にいる指導医※3はMRデバイスを装着し、術者※4が実際に見ている視点を確認しながら、バーチャル術野※5に対して「手と、手に持った道具をどのように扱うか？」を実際に手を動かしながら示すことができます。
※3 熟練医師や、その症例に対して経験がある医師など
※4 研修生やその症例が未経験の医師など
※5 手術の対象。例えば、歯科医であれば口の3Dデータのこと。
現地にいる術者は、MRデバイスを装着し、指導医が行っている手の動きをトレースしたバーチャルハンドと、空間上に表示されたバーチャル術野とを合わせて視聴することができます。3Dで表示されるバーチャル術野に対して、指導医の立体的に道具を持ったバーチャルハンドが動いている様子を見ることで、その動きを真似て自分の動作を修正したり、改善したりすることができます
※機能詳細説明は、「3.「Hands（仮称）」システムの機能」をご覧ください。
通常、術野の中は物理的に狭く、術者が行っている手術に対して、手を出して正しい動かし方を示すことは困難ですが、MR技術により、物理的な制約を超えて熟練者の手の動きを示すことができるようになります。さらに、手や道具は3Dのバーチャル情報として表示されるため、場所の制約がなく、MRデバイスが使える場所であれば、どこでも利用することができます。
- 2. 取り組み背景
コノキューではXR※6技術を用いて、現実と仮想の両面からさまざまな社会課題にアプローチしております。医療の世界では、医師になるために研修期間で「見て学ぶ」必要があります。実際の手術を見学したり、動画を視聴したりして、自分の技術を磨いていく必要があります。
しかし、手術は人体に対して行うため、例えば狭い場所に「手が二つ入らない」ような物理的制約があります。これにより、熟練医師が自分の手を動かしてレクチャーを行うことが困難になってしまうことが現状です。
既存の医療向けXRソリューションは、臓器などの3DモデルをXRデバイスを通して「見る」ことに特化しており、臓器などの術野に対して「手をどのように動かすか？」をリアルタイムに示すことが困難です。
そこで、コノキューはこれらの課題をMR技術によって解決できると考えました。コノキューでは、MR技術を活用した遠隔作業支援ソリューション「NTT XR Real Support※7」を提供しております。「NTT XR Real Support」で培った技術やノウハウを生かした新たな取り組みとして、本プロジェクトを発足しました。
※6 XRとは、VR（仮想現実）、AR（拡張現実）、MR（複合現実）といった先端技術の総称です。
※7 2023年3月15日から提供中のMR技術を活用した遠隔作業支援ソリューション。
公式ページ：https://www.nttqonoq.com/realsupport/
- 3. 「Hands（仮称）」システムの機能
主な利用シーンは、研修生やその症例が未経験の医師などの訓練です。従来「見て学ぶ」必要があった手術における手技を、熟練医師によるリアルタイムかつ手の動きを伴うレクチャーにより、「実践しながら学ぶ」ことができます。
1.手術に使う道具/手術の対象となる部位のデータを選択
事前にアップロードした術野の3Dデータと、道具の3DデータをMRデバイスのアプリで読み込み、空間上に表示します。
2.指導医（熟練した医師）が手や道具をどう動かしているかをリアルタイムに示す
指導医側では術者側の視点を映像で確認しながら、目の前に表示される3Dデータに対して自分の手を動かします。
3.術者（研修医や学生など）は3Dデータを通して指導を受けながら手を動かす
術者側では、3Dデータに対して指導医が動かしている通りに手の3Dデータが表示されます。さらに、術者側では、3Dデータを好きな大きさ・位置に配置することができるので、手術中や訓練中に自分が実際に手を動かしながら、指導医の動きを見ることができます。
これにより、指導医がその場にいなくても、また、術野に手を入れて動かし方をレクチャーできない場合でも、リアルタイムに指導医の技術を術者に教えることが可能となります。また、指導医・術者の両者の動作データは記録され、後から閲覧・利用可能です。
4. 東京医科歯科大学との取り組み
コノキューでは、本プロジェクト発足時点から東京医科歯科大学 金澤教授チームと連携し、アプリ開発を進めています。金澤教授チーム主導で日本医療研究開発機構の「メディカルアーツ研究事業」に採択され、2023年6月30日より「MRデバイスを用いた歯科インプラント外科手術のデータベース構築と遠隔手術支援に関する基盤構築研究」というテーマに取り組んでいます。本事業を通して、歯科インプラント外科手術に関する熟練医師による遠隔手術支援に関する手法の確立をめざします。さらに、熟練医師のデータからAIモデルの作成などを行い、さらなる発展をめざします。
本事業では倫理審査等を通して、ヒトを対象にした実際の手術現場での臨床実験も実施予定です。
5. 今後の展望
試作システムを改善しながら、さまざまな分野にて学術研究・実証実験にご利用いただくことをめざします。東京医科歯科大学との研究事業を通し、実際の手術現場での利用に向けても取り組みを進めます。これらの取り組みによって、将来的には、どんな場所でも高度な医療を受けることができたり、離島で経験のない現地の医師が、遠隔地の医師からリアルタイムでレクチャーを受けることで難病や難しい手術ができたりするような世界の実現をめざします。
また、本取り組みで得た「熟練の手の技術の伝承」の仕組みは、「NTT XR Real Support」やその他サービスへも生かし、さらなる発展をめざします。
コノキューは「Project the Hands」を通して、医療業界の医師不足の解決に貢献してまいります。
6. 研究機関・医療機関からのお問い合わせ先
学術研究・実証実験への利用をご検討いただける場合は、以下のお問い合わせ先にご相談ください。
NTTコノキュー スキルサポートDXプロジェクト：xr-solution-mrope@ml.nttqonoq.com
7. 「Hands（仮称）」システムの体験
2024年1月17日（水）から18日（木）までの2日間、東京国際フォーラムで開催される「docomo Open House 2024」にて本システムを出展予定です。ぜひご来場いただき、ご体験ください。
上記展示会以外での個別のご要望については、お問い合わせください。
※「docomo Open House 2024」公式サイト：
https://docomo-openhouse24.smktg.jp/public/application/add/32
■会社概要
【株式会社NTTコノキュー】
代表取締役社長：丸山 誠治
所在地：東京都千代田区永田町2丁目11番1号 山王パークタワー7階
2022年10月1日より株式会社NTTドコモ100%子会社として事業を開始いたしました。個人のお客さま・法人のお客さまに対して、VR（仮想現実）やAR（拡張現実）、MR（複合現実）などXRを用いて、メタバース・デジタルツイン・XRデバイスの3つの事業を柱に、さまざまなサービス、ソリューションを提供いたします。
＊ 記載されている会社名および製品名は、各社の商標または登録商標です。
本サービス／取り組みはNTTグループが展開するXR※サービスブランド「NTT XR（Extended Reality）」の取り組みの1つです。
※XRとは、VR（仮想現実）、AR（拡張現実）、MR（複合現実）といった先端技術の総称です。
本件に関する報道機関からのお問い合わせ先
株式会社NTTコノキュー スキルサポートDX
Mail: xr-solution-mrope@ml.nttqonoq.com