ケース スタディ - Mixed Reality での人間の表現

James Turrell は、光でデザインします。 彼の作品に足を踏み入れると、奥行きと焦点の感覚が曖昧になります。 壁面は近くにも果てしなくも見え、明るさは影に変わります。 慎重に調整された光の色と拡散によって作られた未知の知覚です。 Turrell は、このような感覚を "目で感じる" と説明しています。これは、現実の理解を拡張するための 1 つの方法です。 Turrell が想像するような空想的な世界は、今日の Mixed Reality のイマーシブ環境とは異なり、自分の感覚を引き出すための強力な手段です。

複雑な現実世界の環境を Mixed Reality でどのように表現するか

Turrell の作品をイマーシブ エクスペリエンスで表現することは、人を引き付ける課題となります。 照明、スケール、空間オーディオによって、彼の作品を表現する機会が与えられます。 展示の幾何学的な環境には比較的単純な3Dモデリングが必要ですが、アーティストの焦点である光が感覚に与える影響に二次的です。

荒涼として超現実的なミニマリズムは、彼の作品の特徴ですが、Mixed Reality でより複雑な素材を含む展示を表現する場合はどうでしょうか。

2013 年、アーティストの Ai Weiwei は、ヴェネチア・ビエンナーレで 886 脚のアンティーク スツールを使用した絡まり合うアート作品を発表しました。 木製のスツールはどれも、これらのスツールが代々受け継がれていたと推測される、中国の職人の技が高く評価されていた時代のものです。 スツール自体(木材の複雑さ、作品の精度、慎重な配置)は、現代文化に関するAiの解説にとって重要です。

アンティーク スツールは、その真正性を通じてアーティストのメッセージを伝えます。 これらのリアルな表現はエクスペリエンスに不可欠であり、技術的課題をもたらします。886 脚の個々のスツールを手で彫刻するには莫大な労力と費用がかかることになります。 モデル作成と配置にはどのくらいの期間がかかるか。 素材の真正性を維持するにはどうすればよいか。 これらのオブジェクトを最初から再作成することが、多くの点で、芸術作品自体の解釈になります。 アーティストの意図はどうすれば維持できるでしょうか。

Mixed Reality アセットをキャプチャする方法

何かを最初から作成する方法の代替案は、実物をキャプチャすることです。 進化し続ける一連のキャプチャ方法を使用して、Mixed Reality で目にする主要なアセットの種類 (環境、オブジェクト、人物) それぞれの真正な表現を開発できます。

十分に確立された 2D ビデオから最新形式のボリュメトリック ビデオまで、広範なカテゴリがあります。 Ai Weiwei の展示の場合、展示物の作成中にスキャン (多くの場合、その基盤となる手法によって写真測量とも呼ばれる) を使用して、各スツール自体をスキャンできます。 360°の写真とビデオ キャプチャは、展示全体に配置された高品質の全天球カメラを活用してエクスペリエンスを仮想化する別の方法です。 これらの手法で、人はスケール感を (理想的には各ピースの職人技を確認できるだけの詳細と共に) 理解し始めます。 これらはすべて、現実では不可能な新しい景色と視点を与えるデジタル形式に存在します。

素晴らしい要素を作成するだけでなく、Mixed Reality の環境、オブジェクト、および人々の最も現実的なキャプチャを利用できる場合、どのような機会が生まれますか? これらの方法の重複を調べることが、メディアが向かう先を明らかにするために役立ちます。

環境とオブジェクトについては、360°のイメージング ソフトウェアは写真測量の要素を含むように進化しています。 奥行き情報をシーンから分離することによって、高度な 360°ビデオは、仮想シーンを見回すときに頭が金魚鉢に入っているような感覚を軽減させます。

人については、モーション キャプチャとスキャンを組み合わせて拡張する新しい方法が生まれています。モーション キャプチャは、視覚効果や映画的なキャラクターに対して詳細な人間の動きを与えるための基礎となっており、一方のスキャンは、顔や手などの人間の見た目の詳細をキャプチャするまで進歩しています。 レンダリング テクノロジの進歩により、ボリュメトリック ビデオと呼ばれる新しい方法によってこれらの手法が再構築され、視覚と奥行きの情報が組み合わされて、次世代の 3D ヒューマン キャプチャが作成されます。

ボリュメトリック ビデオと真正な人間のキャプチャの追求

人間は、最もリテラルな意味でのストーリーテリングの中心です。人間が話す、パフォーマンスする、または物語の主題として。 今日の初期のイマーシブ エクスペリエンスの最もイマーシブで目を開く瞬間の中には、ソーシャルなものがあります。リビングルームで Mixed Reality エクスペリエンスを一緒に共有し、信じられないほどの新しい環境で友達を見ることができます。 人間の要素によって、最も空想的な現実でも、リアリティが生じます。

イマーシブ エクスペリエンスにおけるアバターは、ストーリーテリングにおいて新しい種類の具現化を可能にします。 最新のアプリは、仮想の身体所有の概念を再考すると共に、人間の間の距離を無くす点で世代的飛躍をもたらしています。 Mindshow のような企業は、アバターを活用するクリエイティブ ツールを開発し、ユーザーがまったく新しいペルソナとキャラクターになれるようにしています。 その他は、人間のような属性の性質 (および必要性) を探求する、潜在的に制限のないクリエイティブな機会である、芸術表現の方法を探しています。 今日、この現実感の欠如が、一般の開発者にとって多くの技術的な問題と共に、人間に似せることによる不気味の谷現象を回避するのに役立ちます。 このような理由から (その他)、現実的でないアバターが、近い将来の既定値になる可能性があります。 しかし、現実感が Mixed Reality に大きな課題を投げかける一方、"3D 空間での人間の真正な表現が必要になる重要なシナリオがあります"。

Microsoft では、Microsoft Research から生まれた小さなチームが、容積測定ビデオを通じて人間をキャプチャする方法を開発するために、過去数年間を費やしてきました。 現在のプロセスはビデオ制作に似ています。スカルプトされたアセットに動きを適用するのではなく、完全な 3D 記録です。 パフォーマンスと画像はリアルタイムでキャプチャされます。アーティストの作品ではなく、本物の表現です。 また、このテクノロジは商用アプリケーションへと拡張を始めたばかりですが、ボリュメトリック ビデオの影響は、Microsoft のよりパーソナルなコンピューティングというビジョンに不可欠です。

人間の真正なキャプチャは、Mixed Reality のエクスペリエンスに独自のカテゴリを新たに作り出します。 著名人、同僚、大切な人であるかに関係なく、見覚えがある人物を見ると、デジタル メディアにおいて今までにない深い親密さが生まれます。 彼らの顔、表情、動作のニュアンスがすべて、その人物が誰であるかを構成します。 これらの人間の特性を 3D 空間でキャプチャできるようになると、どのような機会が開かれるでしょうか。

現在、チームでは、エンターテインメントや教育などの分野に焦点を当てて、ボリュメトリック ビデオの境界を広げています。Actiongram では、クリエイティブなキャラクターと著名人を主役にして、Mixed Reality のストーリーを作成します。 現在、NASA のケネディ宇宙センターで開催されている Destination: Mars の展示では、伝説の宇宙飛行士 Buzz Aldrin のボリュメトリック ビデオを公開しています。 このエクスペリエンスで、訪問者は、人類の火星移住の探求について Buzz から説明を受けながら、火星の表面を散策できます。

人間は Mixed Reality にとって重要

これらのビデオを自然に見えるようにするための方法を設計することは課題をもたらしますが、チームはそこに大きな可能性を見出しています。 また、テクノロジがより使いやすくなり、記録からリアルタイムのキャプチャに移行するにつれて、これらの機会が拡がります。

Holoportation は、同じ基本テクノロジを基盤とする研究成果であり、視覚および奥行きの情報を真正にキャプチャし、結果をリアルタイムでレンダリングします。 チームは、会話や共有エクスペリエンスの未来における現実的な人間表現の力が意味することを調査しています。 世界中のどこからでも人物の 3 次元キャプチャを環境に追加できるとどうなるでしょうか。

Skype などの日常的なアプリに新しいレベルの没入感を重ねることから、デジタル会議や出張の概念を根本的に再構築することまで、ボリュームビデオはユニークなシナリオを開きます。専門家は、遠く離れた大陸の医師や、リビングルームのソファや椅子に座っているデジタル友人を仮想的にトレーニングします。 Mixed Reality エクスペリエンスに真正の人間表現を追加すると、デジタルの会議および出張の概念が大きく変わります。

James Turrell の抽象芸術と Ai Weiwei の批判的リアリズムがそれら独自の技術的課題を提起するように、人間をクリエイティブなアバターや現実的なキャプチャとして表す方法も同様です。 他の人に照らして無視することはできませんし、それぞれの可能性を探求することは、この新しい空間での人間の相互作用を理解するのに役立ちます。

筆者について

Mark Vitazko UX デザイナー @Microsoft