ケーススタディ-混合現実の人間を表すCase study - Representing humans in mixed reality

ライトを使用した James Turrell 設計。James Turrell designs with light. 作業にステップインすると、1つの深さと焦点がわかります。Stepping into his work blurs one’s sense of depth and focus. 壁面は、接近と無限の両方に見えるので、影が付けられます。Walls seem both close and infinite, brightness gives way to shadows. ライトの色と拡散を慎重に調整することによって設計された未知の見識。Unfamiliar perceptions designed by carefully balancing the light’s color and diffusion. Turrell は、このような sensations"目で見ています" として説明します。これは、現実を理解するための1つの方法です。Turrell describes these sensations as ‘feeling with your eyes’, a way of extending one’s understanding of reality. 1 Turrell imagines のようなすばらしい世界は、現在、mixed reality のイマーシブ環境とは異なり、このようにして、感知を利用するための強力なツールです。Fantastic worlds, like the ones Turrell imagines, are powerful tools to exploit our senses, not unlike the immersive environments of mixed reality today.

横長-James Turrell (1998)

複雑な現実世界環境を混在環境で表現するにはどうすればよいでしょうか。How do you represent complex real-world environments in mixed reality?

Turrell の作業をイマーシブエクスペリエンスで表現することは、説得力のある課題になります。Representing Turrell’s work in an immersive experience makes for a compelling challenge. 照明、スケール、および空間オーディオには、彼の仕事を表す機会が存在します。Lighting, scale, and spatial audio present opportunities to represent his work. 幾何学の幾何学的な周囲には比較的単純な3D モデリングが必要ですが、アーティストのフォーカスに対しては2番目になります。つまり、感知に対するライトの影響です。While the exhibit’s geometric surroundings would require relatively simple 3D modeling, they are secondary to the artist’s focus: the light’s impact on the senses.

Turrell の stark、minimalism は彼の仕事の特徴ですが、混合現実により複雑な資料を持つ展示を希望する場合はどうでしょうか。Turrell’s stark, surreal minimalism is the hallmark of his work, but what if we wanted to represent an exhibit with more complex materials in mixed reality?

感嘆符-Ai Weiwei (2013)

2013では、アーティスト Ai Weiwei 公開は、ベニス Biennale で886アンティーク stoolsを使用して、tangling 作品をしています。In 2013, the artist Ai Weiwei unveiled a tangling work of art featuring 886 antique stools at the Venice Biennale. 各木製腰掛けは、中国語職人気質が非常に重要であり、これらの stools が世代間で渡された時代 (年号) から来ています。Each wooden stool came from an era where Chinese craftsmanship was highly valued, where these stools would have been passed down between generations. Stools 自体は、木の複雑さ、ピースの精度、慎重な配置など、現代の文化に関する Ai のコメントに不可欠です。The stools themselves — the intricacies of the wood, the precision of the pieces, their careful placement — are critical to Ai’s commentary on modern culture.

アンティーク stools は、アーティストのメッセージを信頼性の高い方法で配信します。The antique stools deliver the artist’s message through their authenticity. 現実的な表現は、経験に不可欠であり、技術的な課題が生じます。各 886 stools Sculpting は、非常に包括的で高価なものになります。Their realistic representation is critical to the experience, creating a technical challenge: Sculpting each of the 886 stools by hand would be enormously exhaustive and expensive. モデルと配置にはどのくらいの時間がかかりますか。How long would it take to model and position? マテリアルの信頼性を維持するにはどうすればよいでしょうか。How would you maintain the authenticity of the material? これらのオブジェクトを最初から再作成すると、多くの点で、アートワーク自体の解釈が変わります。Recreating these objects from scratch becomes, in many ways, an interpretation of the artwork itself. アーティストの意図を維持するにはどうすればよいですか。How can you preserve the artist’s intent?

Mixed reality 資産をキャプチャする方法Methods of capturing mixed reality assets

最初から何かを作成する代わりに、実際の処理をキャプチャします。The alternative to creating something from scratch is capturing the real thing. 段階的な一連のキャプチャ方法を使用して、混合現実 (環境、オブジェクト、および人) で検出された各主要な資産の種類の認証済み表現を開発できます。Through an ever-advancing set of capture methods, we can develop authentic representations of each of the core asset types found in mixed reality (environments, objects, and people).

広範なカテゴリは、適切に確立された2D ビデオから最新の形式の容量ビデオまで多岐に分類されています。The broad categories range from well-established 2D video to the newest forms of volumetric video. Ai Weiwei の展示場の場合、スキャン (多くの場合、基本的な手法では photogrammetry) を使用して、展示場を作成し、各 stools をスキャンします。In the case of Ai Weiwei’s exhibit, scanning (often referred to by its fundamental technique, photogrammetry) could be employed during the creation of the exhibit, scanning each of the stools themselves. 360°写真とビデオキャプチャは、展示場全体に配置された高品質の双方向カメラを活用した経験を仮想化するためのもう1つの方法です。360° photo and video capture is another method for virtualizing the experience utilizing a high-quality omni-directional camera positioned throughout the exhibit. これらの手法では、スケールの意味について理解を深め、理想的には各ピースの職人気質を確認するのに十分な詳細が得られます。With these techniques, one begins to understand the sense of scale, ideally with enough detail to see each piece’s craftsmanship. これらはすべて、既存のデジタル形式で、新しい vistas とパースペクティブを実現することができます。All this while existing in a digital form that allows for new vistas and perspectives not possible in reality.

2D から容量へのビデオ

すばらしい要素を作成できるだけでなく、混合現実の環境、オブジェクト、および人間の最も現実的なキャプチャを利用する場合、どのような種類の営業案件が浮上しますか。What kind of opportunities emerge when we cannot only create fantastic elements, but utilize the most realistic captures of environments, objects, and people in mixed reality? これらの方法の重複を調べると、メディアがどこに配置されているかを調査するのに役立ちます。Exploring the overlap between these methods help illuminate where the medium is headed.

環境とオブジェクトの場合、360°のイメージングソフトウェアは photogrammetry の要素を含むように進化しています。For environments and objects, 360° imaging software is evolving to include elements of photogrammetry. 深度情報をシーンから分離することによって、高度な360°のビデオでは、仮想シーンを見ているときに fishbowl で頭が動かなくなるという感じを軽減できます。Isolating depth information from scenes, advanced 360° videos help alleviate the feeling of having your head stuck in a fishbowl when looking around a virtual scene.

モーションキャプチャとスキャンを組み合わせて拡張する新しいメソッドが新たに追加されています。モーションキャプチャは、視覚効果や画像に対して詳細な人間移動を行うための基礎となっています。また、スキャンは、顔や手などの詳細な人の視覚エフェクトを取得するために高度な機能を備えています。For people, new methods are emerging that combine and extend motion capture and scanning: Motion capture has been foundational to bringing detailed human movement to visual effects and cinematic characters, while scanning has advanced to capture detailed human visuals like faces and hands. レンダリングテクノロジの進歩により、容量ビデオと呼ばれる新しいメソッドによってこれらの手法が構築され、ビジュアルと深度情報が組み合わされて、次世代の3D ヒューマンキャプチャが作成されます。With advancements in rendering technology, a new method called volumetric video builds off these techniques, combining visual and depth information, to create the next generation of 3D human captures.

容量ビデオと、本物の人間によるキャプチャの追求Volumetric video and the pursuit of authentic human capture

人間はストーリーテリングの中心となります。最もリテラルな意味では、人間の声、実行、またはストーリーの件名を意味します。Humans are central to storytelling — in the most literal sense: a human speaking, performing, or as the story’s subject. 今日のイマーシブエクスペリエンスの中で最もイマーシブで目になるのは、ソーシャルです。Some of the most immersive and eye-opening moments of today’s early immersive experiences are social. 悪化の新しい環境で友人を見ていくために、生活室での mixed reality エクスペリエンスの共有を実現します。From sharing a mixed reality experience together in your living room, to seeing your friends in unbelievable new environments. 人間の要素は、最もすばらしい現実でもあります。The human element makes even the most fantastic reality, a reality.

VR の Mindshow

イマーシブエクスペリエンスのアバターは、ストーリーテリングで新しい種類の具現化を有効にします。Avatars in immersive experiences enable a new kind of embodiment in storytelling. 最新のアプリは、仮想ボディの所有権の概念を再考と共に、人間との間の距離を排除する世代の飛躍を設定します。The latest apps are rethinking the concept of virtual body ownership and setting up a generational leap in eliminating the distance between people. Mindshowのような企業は、アバターを活用するクリエイティブツールを開発しています。これは、ユーザーがまったく新しいペルソナと文字を利用できるようにするためのものです。Companies like Mindshow are developing creative tools that leverage avatars, letting users take on entirely new personas and characters. 他の人は、人間ような属性の性質 (および必要な場合) を調べることができます。Others are exploring methods of artistic expression, a potentially limitless creative opportunity to explore the nature (and necessity) of human-like attributes. 今日、このリアリティがないことは、日常的な開発者にとっての技術的な問題のホストと共に、人間の likeness の欠如を回避するのに役立ちます。Today, this absence of realism helps avoid the uncanny valley of human likeness along with a host of technical issues for everyday developers. これらの理由 (およびその他) については、近い将来、現実的ではないアバターが既定のものになる可能性が非常に高くなります。For these reasons (and more) it is very likely that non-realistic avatars will become the default for the foreseeable future. しかし、現実には、現実には mixed reality に大きな課題がありますが、 3d 空間で人間を正規表現する必要がある主なシナリオがあります。And yet, while realism poses an enormous challenge for mixed reality, there are key scenarios that require authentic representation of humans in 3D space.

Microsoft では、Microsoft Research からの小規模なチームが、容量ビデオの形式で人間をキャプチャする方法を開発してきました。At Microsoft, a small team borne out of Microsoft Research has spent the past several years developing a method for capturing humans through a form of volumetric video. 今日のプロセスはビデオ運用に似ています。 sculpted 資産に移動を適用するのではなく、完全な3D 記録です。The process today is similar to video production: rather than applying movement to a sculpted asset it is a full, 3D recording. パフォーマンスとイメージはリアルタイムでキャプチャされます。アーティストの仕事ではなく、本物の表現です。The performance and the image are captured in real-time — it’s not the work of an artist, it’s an authentic representation. また、テクノロジは商用アプリケーションを拡張することから始まりますが、容量ビデオの影響は、マイクロソフトのパーソナルコンピューティングのビジョンに不可欠です。And while the technology is just beginning to expand into commercial applications, the implications of volumetric video are critical to Microsoft’s vision of More Personal Computing.

容量ビデオ SIGGRAPH 2015

信頼性の高い人間によるキャプチャでは、複雑な現実のエクスペリエンスの新しい一意のカテゴリをロック解除します。Authentic human capture unlocks new unique categories of experiences in mixed reality. デジタルメディアでは、著名人、同僚、またはお好きな人がいるかどうかを確認することで、親密性を作成することができます。Seeing someone you recognize, whether it’s a celebrity, a colleague, or a loved one, creates a depth of intimacy never before possible in a digital medium. 彼らの顔、式、動きの中での微妙な部分は、だれがそのようなものであるかということです。Their face, their expressions, the nuance in their movements are all part of who they are. これらの人間の品質を3D 空間でキャプチャできるようになると、どのようなチャンスがありますか。What opportunities unlock when we can capture these human qualities in 3D space?

現在、チームは、エンターテイメントや教育などの部門に焦点を当てることによって、容量ビデオの範囲をプッシュしています。Actiongramはクリエイティブな文字と有名人を特徴として、混合の現実事例を作成します。Today the team is pushing the bounds of volumetric video by focusing on sectors like entertainment and education: Actiongram features creative characters and celebrities to create mixed reality stories. インストールMars は、現在、NASA のケネディ宇宙センターで、伝説 astronaut の容量ビデオを特徴としています。Destination: Mars exhibit, now at NASA’s Kennedy Space Center, features a volumetric video of legendary astronaut Buzz Aldrin. このエクスペリエンスにより、訪問者は、mars で人間の colonization を追求することによって、Mars の表面を説明できます。The experience allows visitors to walk around the surface of Mars with Buzz as he introduces the pursuit of human colonization on Mars.

人間は mixed reality の基礎になります。Humans are fundamental to mixed reality

これらのビデオを作成する方法を設計することは困難であるように思えますが、1つはチームが大きな可能性を認識していることです。Designing ways to make these videos seem natural poses a challenge but one in which the team sees enormous potential. また、テクノロジがよりアクセスしやすくなり、記録からリアルタイムのキャプチャに移動するため、これらの機会が拡張されます。And these opportunities will expand as the technology becomes more accessible and moves from recordings to real-time capture.

Holoportationは、同じ基本テクノロジを基盤とする研究作業であり、視覚的および深度情報を authentically し、結果をリアルタイムで表示します。Holoportation is a research effort that builds upon the same fundamental technology, authentically capturing visual and depth information, and rendering the result in real-time. チームでは、会話や共有エクスペリエンスの未来における現実的な人間表現の力を調べることにしています。The team is exploring what the power of realistic human representation means for the future of conversations and shared experiences. 世界中のどこからでも3次元のキャプチャを環境に追加できるとどうなるでしょうか。What happens when a three-dimensional capture of someone, from anywhere in the world, can be added into your environment?


新しいレベルの immersion を Skype などの日常のアプリに重ねて、デジタル会議とビジネス旅行の概念を大幅に調整するために、容量ビデオでは、次のような独自のシナリオを実現しています。専門家は、リビングルームの couches といすに座っている、遠く離れた大陸やデジタルの友人に、医師を仮想的にトレーニングしています。From layering a new level of immersion onto everyday apps like Skype, to radically reshaping the concept of digital meetings and business travel — volumetric video opens unique scenarios: A specialist virtually training doctors on a far-away continent or digital friends sitting on the couches and chairs in your living room. Mixed reality エクスペリエンスに正規の人間表現を追加すると、デジタル会議とビジネス旅行の概念が大幅に変形します。Adding authentic human representations to mixed reality experiences will radically reshape the concept of digital meetings and business travel.

James Turrell の抽象図と Ai Weiwei の重要なリアリティによって、独自の技術的な課題が生じます。そのため、人間をクリエイティブなアバターや現実的なキャプチャとして表す方法を用意してください。Just as the abstract art of James Turrell and the critical realism of Ai Weiwei offer their own unique technical challenges, so do the methods to represent humans as creative avatars and realistic captures. もう一方のライトでは無視することはできません。また、の可能性を調べることで、この新しいスペースでの人間との対話を理解するのに役立ちます。One cannot be ignored in light of the other and exploring the potential of each will help us understand human interaction in this new space.

作成者についてAbout the author

Picture of Mark Vitazko マーク VitazkoMark Vitazko
UX デザイナー@MicrosoftUX Designer @Microsoft