世界初!? 動画3Dスキャンの僧侶が解説する博報堂・HoloLens「MRミュージアム in 京都」がスゴかった！
博報堂、およびVR/ARの先端技術を専門にするファクトリー「hakuhodo-VRAR」を有する博報堂プロダクツは21日、MicrosoftのARゴーグル「HoloLens」を使った文化財鑑賞体験「MRミュージアム in 京都」の第一弾完成を発表した。
京都の建仁寺が所蔵する国宝「風神雷神図屏風」をモチーフにしており、現実の屏風に3Dグラフィックを重ねることで、作品についてより深く学びながら鑑賞できる体験を提供する。一般公開は、2月22〜24日に建仁寺、2月28〜3月2日に京都国立博物館にて実施。先着で2人ずつ1日50人ほど、6日間で300名ほどの利用を見込んでいる。体験料は無料だが、それぞれ拝観料・観覧料が必要。
21日に実施したプレス向け体験会に参加してきたのでレポートしていこう。
建仁寺。
●関連記事
・日本の文化財をHoloLensで学べる！ 博報堂が建仁寺と「風神雷神図屏風」の共同研究を開始
文化財の鑑賞体験をARで拡張
まずHoloLensを知らない方向けに簡単に解説しておくと、リアルの世界にCGを加えられるAR（拡張現実）装置になる。スキーやスノーボードのゴーグルのように前面が半透明なので、かぶっても周囲が見える上、さらにゴーグルの中央の範囲にCGが現れるという体験だ。
大きな特徴は、事前に物理的なマーカーを用意しなくてもCGの位置や方向を固定できる点にある。同じARは少し前からスマートフォンでも実現していたが、専用アプリでQRコードや特定のパッケージをスキャンすると、キャラクターや物体が現れるというものが多かった。
一方HoloLensではそうした事前の準備なしに、前面のカメラでリアルタイムに周囲をスキャンし、空間の形状を把握して特定の座標にCGを配置できる。方向も記憶しているので、ユーザーがキャラクターの後ろに回り込めば、きちんと背中側を見ることが可能だ。一体型なので外付けのPCやスマホも必要なく、装着時にケーブルが邪魔になることもない。
唯一、昨今の視界全面を覆うVRゴーグルに比べると視野角がまだ狭く、ものに近づきすぎると四辺から見切れることが多いものの、このHoloLens自体がまだ製品ではなく、2016年に米国など、2017年1月に日本で発売された開発キットでこれから発展してく余地は十分にある。
日本では発売直後に欧州全体の3倍売れたほど開発者から注目を集めており、続々と新しいソリューションが登場してきている。今回のMRミュージアムも、昨年7月に共同研究をスタートして、半年経てコンテンツがお披露目となったわけだ。
第1弾のコンテンツ自体は約10分。建仁寺の一室に通されると、奥に風神雷神図屏風のレプリカが鎮座しており、8つほどのスピーカーにぐるりと取り囲まれていることがわかる。
2人1組でHoloLensを装着し、コンテンツが始まると、建仁寺の僧侶である浅野さんがCGで現れて、解説が始まる。
ネタバレになるので簡単に止めるが、まず3つの「風神雷神図屏風」が出揃うのがひとつの見所だ。同作品は同じモチーフで俵屋宗達、尾形光琳、酒井抱一らに描かれてきており、MRミュージアムではこの光琳、抱一の「風神雷神図屏風」もCGで併せて閲覧可能だ。
「風神雷神図屏風」に込められた世界観を体感して学べるのも興味深い。従来の作品紹介というと、解説文やガイドの口頭など言葉によるものが中心だった。それが今回は浅野さんの話と、部屋いっぱいに広がるCGの合わせ技で体感できる。例えば、絵画に込められた五穀豊穣の願いを地上を俯瞰して雨が降るシーンで表したり……。
作品に込めた宇宙への思いなどを、言葉を介さずに体験で伝えられるわけだ。
基本的に見るだけだが、最後にちょっとした人差し指で空間をタップする遊びの要素がある。
現状でももちろんテレビやプロジェクターを用意して、世界観を映像で説明することは可能だが、その映像は見るものであって体験と呼ぶには程遠い。部屋の中のさまざまな場所にCGを配置し、自分の目を近づけて細部を見たり、離れて全体を確認したり、歩いて回り込んで違う側面を覗き込んだりできるHoloLensだからこそ、体験として記憶に刻んで学べるわけだ。
記者発表会では、hakuhodo-VRARの須田和博氏が登壇して作品コンセプトを解説した。
MRミュージアムは、時間や空間を超えて「知」を体験として学べるという構想。「文化財の本物、現物が目の前にあってそれに情報を重ねることで新しいことを知る体験をしてほしい」と須田氏。
従来の展示と比較して、想像できなかった作品世界を体験して学べる、ヒューマンキャプチャーにより人間がナビゲートしてくれる、今この場所にない情報を展示して、実寸で参照できる、自然な操作で、インタラクティブな体験が共有できる──4つのメリットを強調した。
日本にこの動画3Dキャプチャースタジオが欲しい！
筆者も実際に体験してみたが、特にインパクトが大きかったのが、僧侶である浅野さんの実在感だ。……というか、正直、このCGを見られただけでも京都まで来た価値があったと感じた。
リアル浅野さんとレプリカの「風神雷神図屏風」。この浅野さんだけCG化する。
浅野さんのCGは、モデリングして作ったものではなく、動画で3Dスキャンしたものとなる。3Dスキャンというと、国内でも静止画のスタジオは増えているものの動画はまだ珍しい。今回のプロジェクトでは国内で初の事例として、わざわざ米国ワシントン州レイモンドにある「Microsoft Mixed Reality Capture Studio」に浅野さんを連れて行って撮影した。
スタジオ内部は、グリーンの布と70〜100台ほどのカメラに囲まれており、ここで撮影した個別の動画を後処理で統合してCGを合成する仕組みだ。浅野さんによれば、10分の動画の撮影にかかった実時間は3、4時間ほどだったという。同じことを静止画で3DスキャンしたCGに対してやろうとすると、ボーンを埋め込んで、任意のアニメーションをつけて調整して、声を合わせて……と割と手間がかかってしまう。それをある程度のクオリティーを保ちながら、撮影だけで一気につくれてしまうのがスゴいところといえる。
もちろん「プレイヤーが触ろうとすると避ける」といったようなインタラクティブな仕掛けはできないものの、今回のようにポーズやシナリオが決め打ちとなる作品解説なら十分だ。ちなみに浅野さんによれば、説明の相手がおらず、作品もない状態で相手を想定して語るのが難しかったとか。現地では、目線の位置などを細かく指示されたそうだ。
肝心のスキャン品質だが、剃髪した後の肌のザラザラ感や真っ黒な法衣のシワといった細部が再現されるぐらいに精細だと感じた。一部、手の指が微妙に角ばっていたりするシーンもあり、またHoloLensの視野角の制限で見切れることも多いものの、本人が目の前に出現している感はかなりあった。実は浅野さんに話を聞いた直後に、CGの浅野さんを見たこともあって「本物が喋っている（笑）」と驚いたくらいだ。ちなみにマイクロソフトによると、これでも現在のHoloLensに合わせてポリゴン数を半分ほどに減らしているとのこと。動画のフレームレートは30fpsで、これも違和感を感じなかった。
筆者も撮影している360度動画では、ライブやパフォーマンスの映像をVRゴーグルで見た際、「この人物を横とか後ろから見たい！」という要望をよくもらう。そうしたアーティストをキャプチャースタジオでデジタル保存しておけば、「あの時」の状態で振り返って高品質で体験できるわけだ。AR/VRコンテンツの開発者で、動画での3Dスキャンを考えている方は、これはぜひ日本マイクロソフトに問い合わせてほしい。
あわよくば日本のVR/ARコンテンツの発展のために、このキャプチャースタジオが日本にほしいところだ。現状、米国のサンフランシスコとレイモンド、英国のロンドンという3ヵ所にしか展開しておらず、日本の開発者にとって渡航が大きなハードルとなる。記者発表会の場にいた日本マイクロソフトの代表取締役社長、平野拓也氏によれば、「今は日程はないですが、作らなければいけないと感じている。初期設定をどうするかと、つくった後にどう生かしていくかが課題」とのこと。HoloLensの父であるアレックス・キップマン氏まで呼び寄せてしまった日本の開発者の熱意で、キャプチャースタジオまで誘致できるとベストだろう。
もうひとつ体験して実感したのが、3Dオーディオの作り込みだ。先の浅野さんが立つ位置にスピーカーが置かれており、きちんと人物がいる場所から声が出てくる。もちろんHoloLensの内蔵スピーカーでも3Dオーディオは実現できるものの、位置や音量などで通常のスピーカーの方が優っていると感じた。ARというとCGに注力しがちだが、リアルの場を合わせての作り込みも重要だと実感した。
これだけの力作にも関わらず公開期間が6日間だけになった背景には、まだ研究開発の段階で予算的にも規模を大きくできないという理由があるとか。本プロジェクトは、2019年に京都にて開かれる国際博物館会議京都大会「ICOM KYOTO 2019」でも披露される予定だ。そこに向けて、実際に展示してみてどう運用すればいいか、VR/ARに慣れ親しんでいない方からどんなフィードバックが来るのかという準備をする意味もある。
hakuhodo-VRARでは「スペース・エクスペリエンス事業」を立ち上げて、この技術をショールームや展示会、プレゼンテーションなど企業コミュニケーションの分野に活用していく。
さらに教育分野への事業活用も予定している。
なお発表会では、建仁寺の宗務総長川本博明師は、「生意気なことを言いますと、若干これからの技術なんだろうなと思います。ですが、もっと進歩すれば面白いものになるという期待を持っています」と語っていた。あなたや身近な人が体験してどう感じるのか。VR/ARの世界は「百見は一体験に如かず」なので、ぜひ観光も兼ねて京都に訪れて体験しておくといいだろう。
（TEXT by Minoru Hirota）
●関連リンク
・hakuhodo-VRAR特設サイト
・HoloLens
・建仁寺
・京都国立博物館
・日本マイクロソフト
