導入事例 - 複合現実の人間を表すCase study - Representing humans in mixed reality

James Turrell を光を設計します。James Turrell designs with light. 自分の作業にステップ イン奥行きとフォーカスの 1 つの意味をぼかします。Stepping into his work blurs one’s sense of depth and focus. 壁は、両方を閉じるし、無限、明るさことにより、影に見えます。Walls seem both close and infinite, brightness gives way to shadows. 不明な見方が光の色と拡散を慎重に分散して設計されています。Unfamiliar perceptions designed by carefully balancing the light’s color and diffusion. Turrell がこれらの感覚をについて説明しますとして '目と感じて' 現実の 1 つを拡張する方法を理解します。Turrell describes these sensations as ‘feeling with your eyes’, a way of extending one’s understanding of reality. もの Turrell ・ imagines などのすばらしい世界は、複合現実に今日の没入型の環境とは異なり、感覚を悪用する強力なツールです。Fantastic worlds, like the ones Turrell imagines, are powerful tools to exploit our senses, not unlike the immersive environments of mixed reality today.

全体を James Turrell (1998 年)

複合現実で複雑な実際の環境を表示する方法How do you represent complex real-world environments in mixed reality?

魅力的なエクスペリエンスで表す Turrell の作業は、説得力のある課題になります。Representing Turrell’s work in an immersive experience makes for a compelling challenge. ライティング、スケール、および空間オーディオを自分の作業を表す機会を提示します。Lighting, scale, and spatial audio present opportunities to represent his work. 展示場の幾何学的環境には、比較的単純な 3D モデリングが必要ですが、アーティストのフォーカスをセカンダリは: 光への影響を刺激します。While the exhibit’s geometric surroundings would require relatively simple 3D modeling, they are secondary to the artist’s focus: the light’s impact on the senses.

Turrell の機種、surreal ミニマリズムは、自分の作業が、複合現実でより複雑な資料展示を表現する場合の特徴は、ですか。Turrell’s stark, surreal minimalism is the hallmark of his work, but what if we wanted to represent an exhibit with more complex materials in mixed reality?

Bang - Ai Weiwei (2013)

2013 では、アーティスト Ai Weiwei を発表しましたtangling 芸術作品へ Biennale でアンティーク 886 の椅子が特徴です。In 2013, the artist Ai Weiwei unveiled a tangling work of art featuring 886 antique stools at the Venice Biennale. 中国語の職人気質が非常に貴重である、時代 (年号) から各木製椅子に腰掛けてが付属しているこれらの椅子が渡されました世代。Each wooden stool came from an era where Chinese craftsmanship was highly valued, where these stools would have been passed down between generations. 自体椅子-木材、注意が必要です、配置、各部分の有効桁数の複雑な-最新のカルチャに Ai の解説に不可欠な。The stools themselves — the intricacies of the wood, the precision of the pieces, their careful placement — are critical to Ai’s commentary on modern culture.

アンティーク椅子では、信頼性をアーティストのメッセージを配信します。The antique stools deliver the artist’s message through their authenticity. 現実的な表現は、技術的な課題の作成エクスペリエンスに重要です。手動で各 886 椅子の彫刻になります始まって徹底的かつ高価です。Their realistic representation is critical to the experience, creating a technical challenge: Sculpting each of the 886 stools by hand would be enormously exhaustive and expensive. どのくらいの時間がかかるモデルと位置にでしょうか。How long would it take to model and position? マテリアルの信頼性を維持する方法は?How would you maintain the authenticity of the material? これらのオブジェクトを最初から再作成になると、多くの点でアートワーク自体の解釈します。Recreating these objects from scratch becomes, in many ways, an interpretation of the artwork itself. アーティストのインテントを保存する方法How can you preserve the artist’s intent?

複合現実の資産を取り込む方法Methods of capturing mixed reality assets

何かを最初から作成する代わりに、ので、実際にキャプチャします。The alternative to creating something from scratch is capturing the real thing. キャプチャ メソッドのこれまで進めるセット、複合現実 (環境、オブジェクト、およびユーザー) で検出されたコア資産の型のそれぞれの正規表現を開発できます。Through an ever-advancing set of capture methods, we can develop authentic representations of each of the core asset types found in mixed reality (environments, objects, and people).

広範なカテゴリの範囲は既に確立されている 2D のビデオからビデオの帯域幅消費型の最新のフォームです。The broad categories range from well-established 2D video to the newest forms of volumetric video. Ai Weiwei の展示、スキャンの場合 (多くの場合、その基本的な方法では、によって参照 photogrammetry) 自体椅子のスキャン、付属資料の作成時に採用されます。In the case of Ai Weiwei’s exhibit, scanning (often referred to by its fundamental technique, photogrammetry) could be employed during the creation of the exhibit, scanning each of the stools themselves. 360 度の写真とビデオのキャプチャには、展示場全体で配置されている高品質な全方向カメラを使用して、エクスペリエンスの仮想化のもう 1 つの方法です。360° photo and video capture is another method for virtualizing the experience utilizing a high-quality omni-directional camera positioned throughout the exhibit. これらの手法に精通する各部分の職人気質を表示するには、十分な詳細を理想的には、スケールの意味を理解する 1 つを開始します。With these techniques, one begins to understand the sense of scale, ideally with enough detail to see each piece’s craftsmanship. この既存のデジタル化中に可能にする新しい開けておよびパースペクティブいない実際に可能です。All this while existing in a digital form that allows for new vistas and perspectives not possible in reality.

帯域幅消費型のビデオを 2D

営業案件の種類が出現のみことはできません、すばらしい要素を作成が複合現実での環境、オブジェクト、およびユーザーの最も現実的なキャプチャを使用しましたか。What kind of opportunities emerge when we cannot only create fantastic elements, but utilize the most realistic captures of environments, objects, and people in mixed reality? メディアが構成されているこれらのメソッドのヘルプ照射間の重複を調査します。Exploring the overlap between these methods help illuminate where the medium is headed.

環境とオブジェクトの場合は、360 ° のイメージング ソフトウェアは photogrammetry の要素を含める進化しています。For environments and objects, 360° imaging software is evolving to include elements of photogrammetry. 深度の情報では、360 ° の詳細から分離するビデオは仮想のシーンを検索するときに、顧客に陥る考え、頭の感情を軽減すると役立ちます。Isolating depth information from scenes, advanced 360° videos help alleviate the feeling of having your head stuck in a fishbowl when looking around a virtual scene.

人々 にとって、新しいメソッドはその結合が登場しています、運動のキャプチャとスキャンの拡張します。モーション キャプチャは、顔やハンドのように詳細な人間のビジュアルをキャプチャする高度にスキャン中に視覚効果を映画のような文字は、詳細な人間の動きを取り込むの基礎となるされています。For people, new methods are emerging that combine and extend motion capture and scanning: Motion capture has been foundational to bringing detailed human movement to visual effects and cinematic characters, while scanning has advanced to capture detailed human visuals like faces and hands. レンダリング テクノロジの進歩によって、帯域幅消費型のビデオをという新しいメソッドがこれらの手法は、ビジュアルを組み合わせることをビルドし、深さについては、3 D の次世代の人間を作成するにはキャプチャします。With advancements in rendering technology, a new method called volumetric video builds off these techniques, combining visual and depth information, to create the next generation of 3D human captures.

帯域幅消費型のビデオと本物の人間のキャプチャのフォロー アップVolumetric video and the pursuit of authentic human capture

人間はストーリーテ リングの中心となる、最も文字どおりの意味で: 人間が話す、実行、またはストーリーのサブジェクトとして。Humans are central to storytelling — in the most literal sense: a human speaking, performing, or as the story’s subject. いくつかの最も魅力的な今日の初期の没入型エクスペリエンスの瞬間を思い起こすはソーシャルとします。Some of the most immersive and eye-opening moments of today’s early immersive experiences are social. 複合現実の共有を信じられないような新しい環境で友人が表示されます、リビング ルームでエクスペリエンス関係します。From sharing a mixed reality experience together in your living room, to seeing your friends in unbelievable new environments. 人間の要素はでも、最もすばらしい実際には、現実のものです。The human element makes even the most fantastic reality, a reality.

VR で Mindshow

アバター没入型エクスペリエンスでは、新しい種類のストーリーテ リングでの具体化を有効にします。Avatars in immersive experiences enable a new kind of embodiment in storytelling. 最新のアプリは仮想本文所有権の概念についての再考し、世代別飛躍的にユーザーの間の距離を排除することを設定します。The latest apps are rethinking the concept of virtual body ownership and setting up a generational leap in eliminating the distance between people. などの企業Mindshowアバター、まったく新しいペルソナと文字にすることを利用する創造的なツールを開発します。Companies like Mindshow are developing creative tools that leverage avatars, letting users take on entirely new personas and characters. 他のユーザーの探索は芸術の式のメソッド人間のような属性の性質 (および必要がある) を調査する場合は、無限の可能性があるクリエイティブな機会です。Others are exploring methods of artistic expression, a potentially limitless creative opportunity to explore the nature (and necessity) of human-like attributes. 今日では、この休暇のリアリティを防ぎ、突き詰めて valley の人間の同じよう日常的な開発者向けの技術的な問題のホストとします。Today, this absence of realism helps avoid the uncanny valley of human likeness along with a host of technical issues for everyday developers. これらの理由 (など) の現実のアバターが、近い将来の既定値になることが非常に高くなります。For these reasons (and more) it is very likely that non-realistic avatars will become the default for the foreseeable future. まだ、リアリティの複合現実は、非常に大きな課題をもたらす中を 3D 空間で人間の正規表現を必要とする主なシナリオがあるします。And yet, while realism poses an enormous challenge for mixed reality, there are key scenarios that require authentic representation of humans in 3D space.

Microsoft では、Microsoft Research から媒介する小規模なチームを費やして過去数年間の帯域幅消費型のビデオの形で人間をキャプチャするためのメソッドを開発します。At Microsoft, a small team borne out of Microsoft Research has spent the past several years developing a method for capturing humans through a form of volumetric video. プロセスは今すぐビデオの運用環境に似ています。 スカルプト資産への移動を適用するのではなく、完全な 3D の記録が。The process today is similar to video production: rather than applying movement to a sculpted asset it is a full, 3D recording. パフォーマンスとイメージがリアルタイムでキャプチャされた-これは、アーティストの作業ではなくは、正規表現です。The performance and the image are captured in real-time — it’s not the work of an artist, it’s an authentic representation. 帯域幅消費型のビデオの影響はにとって重要なテクノロジは、商用アプリケーションに展開にすぎませんが、中に、よりパーソナル コンピューティングに関するマイクロソフトのビジョンします。And while the technology is just beginning to expand into commercial applications, the implications of volumetric video are critical to Microsoft’s vision of More Personal Computing.

帯域幅消費型のビデオ SIGGRAPH 2015

本物の人間のキャプチャには、複合現実でのエクスペリエンスの新しい一意のカテゴリがロック解除します。Authentic human capture unlocks new unique categories of experiences in mixed reality. 有名人や、仕事仲間に愛される製品の 1 つ、かどうかを認識すると、だれかが表示されるデジタル メディアに可能な限りかつて親密の深さを作成します。Seeing someone you recognize, whether it’s a celebrity, a colleague, or a loved one, creates a depth of intimacy never before possible in a digital medium. Face、その式では、それらの動きに微妙な違いはユーザーのすべての部分です。Their face, their expressions, the nuance in their movements are all part of who they are. 3 次元空間でこれらの人間の品質をキャプチャできる場合のロックを解除するチャンスを何でしょうか。What opportunities unlock when we can capture these human qualities in 3D space?

現在、チームでは、エンターテイメントおよび教育機関向けのようなセクターに重点を置いた帯域幅消費型のビデオの境界がプッシュします。Actiongramクリエイティブな文字の機能と著名人複合現実のストーリーを作成します。Today the team is pushing the bounds of volumetric video by focusing on sectors like entertainment and education: Actiongram features creative characters and celebrities to create mixed reality stories. 移行先:Mars を示すNASA の Kennedy 領域の中心に機能が追加されました伝説飛行士 Buzz Aldrin の帯域幅消費型のビデオ。Destination: Mars exhibit, now at NASA’s Kennedy Space Center, features a volumetric video of legendary astronaut Buzz Aldrin. 経験できます。 Mars の人間 colonization のフォロー アップを紹介しています、評判の Mars の画面の周り方法について説明します。The experience allows visitors to walk around the surface of Mars with Buzz as he introduces the pursuit of human colonization on Mars.

人間は複合現実に基本的な機能Humans are fundamental to mixed reality

チャレンジがチームに膨大な可能性が表示される 1 つに自然なことと思われるこれらのビデオを作成する方法を設計します。Designing ways to make these videos seem natural poses a challenge but one in which the team sees enormous potential. 新しいビジネス チャンスを拡張し、テクノロジよりアクセス可能になり、記録からリアルタイムでキャプチャに移動します。And these opportunities will expand as the technology becomes more accessible and moves from recordings to real-time capture.

Holoportation真ビジュアルと深度の情報をキャプチャして、リアルタイムで結果をレンダリングのと同じの根本的なテクノロジに基づいている研究作業します。Holoportation is a research effort that builds upon the same fundamental technology, authentically capturing visual and depth information, and rendering the result in real-time. チームでは、将来の会話、共有のエクスペリエンスの現実的な人間の形式の電源が何を意味について検討します。The team is exploring what the power of realistic human representation means for the future of conversations and shared experiences. ユーザーが任意の場所からの 3 次元のキャプチャのときに起こる世界では、お客様の環境に追加できますか?What happens when a three-dimensional capture of someone, from anywhere in the world, can be added into your environment?


Skype のような日常的なアプリに immersion の新しいレベルを階層化からデジタル会議やビジネスの概念を大幅に変形に移動: 帯域幅消費型のビデオに固有のシナリオが表示されます。Couches とリビング ルームで椅子に座って遠く離れた大陸またはデジタルの友人の医師が事実上トレーニング スペシャ リストです。From layering a new level of immersion onto everyday apps like Skype, to radically reshaping the concept of digital meetings and business travel — volumetric video opens unique scenarios: A specialist virtually training doctors on a far-away continent or digital friends sitting on the couches and chairs in your living room. 複合現実エクスペリエンスに追加の認証済みヒューマン表現は、デジタルの会議や出張の概念と根本的に形状変更します。Adding authentic human representations to mixed reality experiences will radically reshape the concept of digital meetings and business travel.

James Turrell の抽象画と Ai Weiwei の重要なリアリティが自分固有の技術的な課題を提供すると同様、創造的なイメージをアバターとして人間を表すメソッドはし、現実的なキャプチャします。Just as the abstract art of James Turrell and the critical realism of Ai Weiwei offer their own unique technical challenges, so do the methods to represent humans as creative avatars and realistic captures. 他のいずれかを無視することはできませんし、それぞれの可能性を調査、理解に役立つ新しいスペースで人による操作します。One cannot be ignored in light of the other and exploring the potential of each will help us understand human interaction in this new space.

執筆者紹介About the author

Picture of Mark Vitazko マーク VitazkoMark Vitazko
UX デザイナー @MicrosoftUX Designer @Microsoft