博報堂と博報堂アイ・スタジオは28日、CGアーティストTELYUKAの制作する3DCG女子高生「Saya」と会話できる「Talk to Saya」システムを開発したと発表した。同日、鎌倉女学院高等学校にて本システムを利用してAI技術を学べる授業「1日転校生Saya」を実施した。
TELYUKAと博報堂DYグループらは、3DCGや自然言語処理などのテクノロジーで17歳の女子高生を再現する「Saya Virtual Human Project」を推進している。2019年1月より博報堂アイ・スタジオが技術開発に参画し、今回、リップシンクによる発話機能「Talk to Saya」を新たに付加したことで、Sayaとリアルタイムの会話が可能になった。
●「Talk To Saya」リップシンクの仕組み
- マイクを通して生徒の声を取得
- 音声データをテキストデータに変換（Speech to Text）
- テキストデータを解析し返答文章を生成
- 返答文章を音声データに変換（Text to Speech）
- 返答文章および音声データを元に口の動きを生成
- 生成した口の動きと音声データを組み合わせて発話
「1日転校生Saya」は、生徒たちが教室の大型ディスプレイや班ごとの小型デバイスを利用し、Sayaとの質問・相槌などの会話を通じて、AI技術の仕組みを学習。AIの成長プロセスに参加することでバーチャルヒューマンと共生する未来の日常生活を疑似体験して、AI技術の活用例も学ぶべるプログラムとなる。
鎌倉女学院高等学校の体験授業では、Sayaが1日限りの転校生として2年生の生徒とともに「情報」の授業に参加。生徒たちがAIとの会話を体験したり、その生徒との会話からSayaが思考して、その考えをSaya自身が発表する授業が行われた。