ソニーグループ内の横断チーム「meetear」は、クラウドファンディングプロジェクト「ロボットハンドでオンラインでもリアルな繋がりを作りたい！」を、BOOSTERにて開始した。
●クラウドファンディングページ https://camp-fire.jp/projects/view/544891
ロボットハンドを使用し、オンライン越しに人同士、VTuberと人などが「握手」できるようにするバーチャル握手システムを開発するのが目的。すでにプロトタイプが完成しており、クラウドファンディングで集まった資金は3月に開催予定のバーチャル握手会の会場費用・運営費用に充てる。
プロジェクトの目標金額は20万円で、募集期間は2月いっぱい。All-or-Nothing方式で実施し、目標未達成の場合は支援金は返金となり、イベントは開催しない。「応援プラン」（1000円）、「バーチャル握手会プラン」（4000円）などの各種支援プランを用意している。
開発には、ソニーグループの若手エンジニアが有志で参画。ペットロボットの「aibo」の開発に携わったソフトウェアエンジニアの川部氏をはじめ、ロボット、半導体、ゲーム、音楽といったテクノロジーの経験を持った多彩なメンバーが集まっている。
本プロジェクトは、コロナ禍で感じた「リアルな繋がりの大切さ」を、テクノロジーを駆使して手助けできないか、という発想のもとにスタートしたという。オンラインのリモート会話システムが普及し、気軽にコミュニケーションできるようになったものの、映像と音声によるコミュニケーションでは相手の実在感を感じにくい側面がある。そこで、ロボットハンドでリアルなふれあいを作ることで、画面の向こう側の世界を感じる体験を作りたいとしている。
ロボットハンドの特徴
まるで相手が目の前にいるかのようなリアリティーを演出するために、指の太さ・長さ、柔らかさ、温もりにこだわってロボットハンドを設計。柔らかい感触の表現のために、肌の感触に似せた「ゲル」素材を製作し、肉厚や感触を調整して絶妙な感触を再現している。温もりについては、ロボットハンドの内部に血管のようなチューブを通して内側から温め、体温を表現した。
また、手のひらだけでなく、手首・肘・肩といった関節も再現。握手をした際の上下左右や前後の動作にも追従することで、違和感のない体験を作り出している。
さらに、ロボットハンドの動きにもこだわっており、5本の指をリモートからリアルタイムに動かして、手の動きを瞬時に再現可能。握手やじゃんけん、ポーズなど、人の自然な動作を表現できる。
等身大ディスプレイを採用し、すぐ目の前で話している距離感を感じられるように、音響技術を用いて口元から声が聞こえる体験を実現。生身の映像だけでなく、デジタルヒューマンやヒューマノイドロボットへの展開にも対応できるよう、キャラクターアニメーションも開発している。カメラキャプチャーベースのAI技術を利用することで、人の表情や感情を推定して、笑ったり、驚いたりといった自然な表情変化を、そのままキャラクターに反映できるという。
●関連リンク
・クラウドファンディングページ