KDDI総合研究所は10月24日、3D点群圧縮技術の最新の国際標準方式・ V-PCC（Video-based point cloud compression）に対応したリアルタイムエンコーダーを開発したことを発表した。ボリュメトリックビデオに活用することで、映像データのサイズを40分の1に圧縮できるため、従来、50Mbpsを要していた転送ビットレートを半分の25Mbpsに抑えて、モバイル回線でもリアルタイム伝送しやすくなるという。
ボリュメトリックビデオとは、複数のカメラで被写体を360度囲んで同時に撮影し、さまざまな角度からのデータをひとつに統合して、見たい方向からみられるという立体映像技術になる。今回の圧縮技術を活用することで、スタジオで撮影した3D点群の映像コンテンツそのままメタバースに出現させるといった活用方法が可能になる。KDDIによれば、V-PCCに準拠したリアルタイムエンコーダーの開発事例は2022年10月21日時点で世界初とのこと。
点群とは、3D物体を点の位置と色の集合で表現するデータ形式だ。動きのある3D点群の圧縮に適した V-PCCでは、写実的なキャラクターのライブ配信などで細かい動きを表現できる。
本技術の研究開発は、総務省SCOPE（国際標準獲得型）JPJ000595の委託を受けて実地された。KDDIとKDDI総合研究所は、2023年ごろからスタート予定の無線通信の新システム「KDDI Accelerate 5.0」について「Beyond 5G/6Gホワイトペーパー」にまとめており、今回の技術は、その中で紹介されている7つのテクノロジーの「XR」に該当する。
主な開発背景としては、3D点群を利用したコンテンツの制作が拡大する中で、 PCやタブレット、スマートフォンなど様々な端末に対し、データ量を削減した状態で、高品質のままの映像を提供する意図がある。
仕組みとしては、点群のフレーム群をパッチと呼ばれる単位に分解して2D平面画像に投影し、通常の映像と同じ形式にしている。受信側で3D点群を復元できるように、パッチ情報とテクスチャー画像、深度画像、マスク画像の4種類を同時生成し、それぞれに既存の映像符号化方式を適用している。今回は3D空間をパッチよりも小さな小空間に分割し、多数の点が含まれる小空間ごとに平面を判定する高速化手法を導入した点が新しい。
もう一つの新技術である「V-PCCに適したタスクスケジューリング方式によるCPU使用率の改善」には、 異なるフレーム種別にまたがった並列化に対応する「タスクスケジューリングの仕組み」を新規導入。これによって、従来のCPUコアごとの使用率に偏りがあったやり方から、約20倍の高速化に成功している。
KDDI総合研究所は今後、スマートフォン、VRデバイスでの体験アプリケーションや、 ライブ伝送システムの開発を行う予定だ。
●補足資料
・エンコーダー：点群圧縮を担うシステムを指す。3D点群圧縮は、3D点群を限られた帯域や容量で伝送や蓄積するために利用する圧縮方式で、点の位置関係、画像内や画像間の類似性を利用してデータ量を削減している。
・デコーダー：エンコーダーが出力した圧縮データを受信し、3D点群に復号するシステムを指す。3D点群圧縮方式に対応した復号処理を用意する必要があり、一般に方式をまたいだ相互接続性は保証されていない。
・リアルタイムエンコーダー：デコーダーが復号する圧縮データの圧縮処理速度が、デコーダーの復号処理速度と同じ速さで行われるエンコーダー。
●関連リンク
・KDDI Accelerate 5.0
・Beyond 5G/6Gホワイトペーパー