株式会社コーセー（本社：東京都中央区、代表取締役社長：小林 一俊）は、東京工業大学 渡辺義浩研究室との共同研究により開発した、プロジェクションマッピングを用いてまるで実際にメイクをしているようなMR（Mixed Reality、複合現実）体験ができるメイクシミュレーション技術（※1）を、2023年9月4日～7日にスペイン・バルセロナで開催された国際的な化粧品技術の研究発表会「第33回 国際化粧品技術者会連盟（IFSCC）学術大会」にて発表しました。本発表は口頭発表応用部門におけるトップ10に選出されました。
（※1）2022 年 10月 25 日発行ニュースリリース
https://corp.kose.co.jp/ja/media/2022/10/20221025.pdf
図1 顔の動きに追従するMRメイクシミュレーション技術
- 発表の概要
タイトル：
プロジェクションマッピング技術による
3Dデジタルメイクアップシステムで美しさを再発見する
Rediscovering your own beauty through a highly realistic 3D digital makeup system based on projection mapping technology
発表者：
コーセー研究所 メイク製品研究室 鶴見（石附）奈央
概要：
メイクアップの魅力の一つは、色の組み合わせを楽しみ、自分に似合うものを見つけることにあります。ファッションやトレンドによってメイクアップは移り変わりますが、どのメイクが自分に似合うのかを判断するには自分の顔で試すことが重要であり、手間をかけずに短時間でたくさんのアイテムを試したいという要望は常に存在してきました。
これまでにもスマートフォンやタブレット上で動作するAR（拡張現実）メイクシミュレーターは存在していましたが、よりリアルなメイク体験から納得できるアイテムの選択をするため、本研究ではプロジェクションマッピングを用いることで実際に自分の顔上にメイクを瞬時に投影できる、MR（複合現実）メイクの実現に挑みました。
まず、実際の顔では目や口など、表情による動きが大きい部分へのメイク投影を自然に行う必要があるため、プロジェクションマッピングの高速追従技術を有する東京工業大学 渡辺義浩研究室との共同研究を行いました。この技術をメイクシミュレーター用に最適化することで、ヒトがずれを感じると言われる6 ms（msは1,000分の1秒）以内に投影画像を切り替え、自由な顔の動きに追従させることができる機能を実現しました(図1)。
図2 実際のメイクとMRメイクの比較
さらに、どのような肌の色でも、実際のメイク時の色合いとずれが生じないように、投影した色と肌に反射して目に見える色との関係を分析し、独自の色補正モデルを開発しました。この色補正を適用することで、実際のメイクと見分けがつかないほどの精度を得ることに成功しました(図2)。
これらの技術を組み合わせたMRメイクシミュレーターを一般のメイクユーザーに体験してもらい、既存のARメイクシミュレーターと比較したところ、リアルさ、自然さ、商品カウンセリングにおける好ましさの点で優れた評価を得ました。また、本シミュレーターでは数秒間でいくつものメイクを試すことができることから、新しい自己表現の可能性を感じたという評価も多く、自分ならでは美しさを再発見する機会にも繋がると考えています。
- 今後の展望
今回開発したMRメイクシミュレーション技術は体験者が自分でメイクする手間もないことから、年齢や性別、これまでのメイク経験を問わず、どんなお客さまにもメイクを試す機会を提供できます。これにより、これまで気付かなかった自分ならでは美しさを再発見し、メイクや自己表現の楽しさを拡げることができると考えています。
本技術は2022年8月からコンセプトストア Maison KOSÉ 銀座にてビューティアトラクションとして展開しているメイクシミュレーター「COLOR MACHINE」に応用されており（※2）、今後も商品カウンセリングに活用するとともに、お客さまを拡げる活動への応用にも繋げていきます。
（※2）2022 年 8 月 17 日発行ニュースリリース
https://www.kose.co.jp/company/ja/content/uploads/2022/08/20220817.pdf