Fallstudie: darstellen von Menschen in gemischter RealitätCase study - Representing humans in mixed reality

James Turrell entwirft mit Licht.James Turrell designs with light. Wenn Sie die Arbeit schrittweise durchlaufen, wird ein sinnvoller Tiefe und Schwerpunkt angezeigt.Stepping into his work blurs one’s sense of depth and focus. Wände scheinen sowohl nah als auch unendlich zu sein, und die Helligkeit bietet Schatten.Walls seem both close and infinite, brightness gives way to shadows. Unbekannte Wahrnehmungen, die durch einen sorgfältigen Ausgleich der Farbe und Verbreitung des Lichts entworfen wurden.Unfamiliar perceptions designed by carefully balancing the light’s color and diffusion. Turrell beschreibt diese Empfindungen als "Gefühl bei ihren Augen" , eine Möglichkeit, das Verständnis der Realität zu erweitern.Turrell describes these sensations as ‘feeling with your eyes’ , a way of extending one’s understanding of reality. Fantastische Welten, wie z. b. die Turrell-Imagines, sind leistungsstarke Tools, um unsere Sinne auszunutzen, und nicht im Gegensatz zu den immersiven Umgebungen gemischter Realität.Fantastic worlds, like the ones Turrell imagines, are powerful tools to exploit our senses, not unlike the immersive environments of mixed reality today.

Wide out-James Turrell (1998)

Wie stellen Sie komplexe reale Umgebungen in gemischter Realität dar?How do you represent complex real-world environments in mixed reality?

Die Darstellung von Turrell work in einer immersiven Darstellung führt zu einer überzeugenden Herausforderung.Representing Turrell’s work in an immersive experience makes for a compelling challenge. Beleuchtung, Skalierung und räumliches Audiomaterial stellen Möglichkeiten dar, seine Arbeit darzustellen.Lighting, scale, and spatial audio present opportunities to represent his work. Obwohl die geometrische Umgebung der Ausstellung eine relativ einfache 3D-Modellierung erfordern würde, sind Sie für den Schwerpunkt des Künstlers Sekundär: das Licht wirkt sich auf die Sinne aus.While the exhibit’s geometric surroundings would require relatively simple 3D modeling, they are secondary to the artist’s focus: the light’s impact on the senses.

Der deutliche, surreale Minimalismus von Turrell ist das Merkmal seiner Arbeit, aber was, wenn wir eine Ausstellung mit komplexeren Materialien in gemischter Realität darstellen wollten?Turrell’s stark, surreal minimalism is the hallmark of his work, but what if we wanted to represent an exhibit with more complex materials in mixed reality?

Bang-Ai Weiwei (2013)

In 2013 stellte die Künstlerin Ai Weiwei eine Tangente work of Art mit 886 Antiquitäten Stühlen an der Biennale von Venedig vor.In 2013, the artist Ai Weiwei unveiled a tangling work of art featuring 886 antique stools at the Venice Biennale. Jeder hölzerne Hocker stammt aus einem Zeitraum, in dem die chinesische Handwerksarbeit sehr wertvoll war, wobei diese Stühle zwischen Generationen nach unten weitergegeben wurden.Each wooden stool came from an era where Chinese craftsmanship was highly valued, where these stools would have been passed down between generations. Die hosten selbst – die Feinheiten der Teile, die Genauigkeit der Teile, ihre sorgfältige Platzierung – sind für Ki-Kommentare zur modernen Kultur wichtig.The stools themselves — the intricacies of the wood, the precision of the pieces, their careful placement — are critical to Ai’s commentary on modern culture.

Der alte Stuhl stellt die Nachricht des Entwicklers durch seine Authentizität bereit.The antique stools deliver the artist’s message through their authenticity. Die realistische Darstellung ist wichtig für die Verwendung, was eine technische Herausforderung darstellt: die Darstellung der einzelnen 886-Stühle per Hand wäre enorm vollständig und teuer.Their realistic representation is critical to the experience, creating a technical challenge: Sculpting each of the 886 stools by hand would be enormously exhaustive and expensive. Wie lange dauert das Modellieren und positionieren?How long would it take to model and position? Wie würden Sie die Authentizität der Materialien gewährleisten?How would you maintain the authenticity of the material? Wenn Sie diese Objekte neu erstellen, wird in vielerlei Hinsicht eine Interpretation der Kunst selbst durchlaufen.Recreating these objects from scratch becomes, in many ways, an interpretation of the artwork itself. Wie können Sie die Absicht des Künstlers beibehalten?How can you preserve the artist’s intent?

Methoden zum Erfassen gemischter Reality-AssetsMethods of capturing mixed reality assets

Die Alternative zum Erstellen eines neuen Elements besteht darin, das eigentliche zu erfassen.The alternative to creating something from scratch is capturing the real thing. Mithilfe eines ständig fortschreitenden Satzes von Erfassungsmethoden können wir authentische Darstellungen der einzelnen kernassettypen entwickeln, die in gemischter Realität (Umgebungen, Objekte und Personen) gefunden werden.Through an ever-advancing set of capture methods, we can develop authentic representations of each of the core asset types found in mixed reality (environments, objects, and people).

Die allgemeinen Kategorien reichen von einem gut eingerichteten 2D-Video bis hin zu den neuesten Formen von Volumetrische Video.The broad categories range from well-established 2D video to the newest forms of volumetric video. Im Fall von Ai Weiwei könnte die Überprüfung (häufig durch die grundlegende Technik, die Sprachentwicklung) bei der Erstellung der Ausstellung eingesetzt werden, wobei die einzelnen Stühle selbst gescannt werden.In the case of Ai Weiwei’s exhibit, scanning (often referred to by its fundamental technique, photogrammetry) could be employed during the creation of the exhibit, scanning each of the stools themselves. 360 ° Foto-und Videoaufzeichnung ist eine weitere Methode für die Virtualisierung der Ober-und unitdirektionale Kamera, die auf der gesamten ausstellungsstelle positioniert ist.360° photo and video capture is another method for virtualizing the experience utilizing a high-quality omni-directional camera positioned throughout the exhibit. Mit diesen Techniken beginnt das Verständnis der Skalierung, idealerweise mit ausreichenden Details, um die Handarbeit der einzelnen Hand zu sehen.With these techniques, one begins to understand the sense of scale, ideally with enough detail to see each piece’s craftsmanship. Alles, was in einer digitalen Form vorhanden ist, die neue Ansichten und Perspektiven ermöglicht, ist in Wirklichkeit nicht möglich.All this while existing in a digital form that allows for new vistas and perspectives not possible in reality.

2D zu Volumetric-Video

Welche Chancen entstehen, wenn wir nicht nur fantastische Elemente erstellen können, sondern die realistischsten Erfassungen von Umgebungen, Objekten und Menschen in gemischter Realität nutzen?What kind of opportunities emerge when we cannot only create fantastic elements, but utilize the most realistic captures of environments, objects, and people in mixed reality? Durch Untersuchen der Überschneidung zwischen diesen Methoden wird die Spitze des Mediums beleuchtet.Exploring the overlap between these methods help illuminate where the medium is headed.

Bei Umgebungen und Objekten wird die 360 °-Abbild Erstellungs Software um Elemente von photogrammmetrie erweitert.For environments and objects, 360° imaging software is evolving to include elements of photogrammetry. Um Tiefe Informationen von Szenen zu isolieren, können Sie mit den erweiterten 360 °-Videos das Gefühl verringern, dass ihre Kopfzeile bei der Betrachtung einer virtuellen Szene in eine Fishbowl stecken bleibt.Isolating depth information from scenes, advanced 360° videos help alleviate the feeling of having your head stuck in a fishbowl when looking around a virtual scene.

Für Personen werden neue Methoden entwickelt, mit denen die Bewegungserfassung und-Überprüfung kombiniert und erweitert wird: die Motion-Erfassung ist grundlegend für eine ausführliche menschliche Bewegung zu visuellen Effekten und filmischen Zeichen, während die Überprüfung erweitert wurde, um ausführliche visuelle Elemente wie Gesichter und Hände zu erfassen.For people, new methods are emerging that combine and extend motion capture and scanning: Motion capture has been foundational to bringing detailed human movement to visual effects and cinematic characters, while scanning has advanced to capture detailed human visuals like faces and hands. Mit den Verbesserungen bei der renderingtechnologie erstellt eine neue Methode namens Volumetrische Video diese Techniken, die visuelle und ausführliche Informationen kombiniert, um die nächste Generation von 3D-Menschen Erfassungen zu erstellen.With advancements in rendering technology, a new method called volumetric video builds off these techniques, combining visual and depth information, to create the next generation of 3D human captures.

Volumetric-Video und die Verfolgung von authentihuman CaptureVolumetric video and the pursuit of authentic human capture

Menschen sind für das Storytelling von zentraler Bedeutung – am meisten literalfähig: eine Menschen sprechende, die Leistung oder das Thema der Story.Humans are central to storytelling — in the most literal sense: a human speaking, performing, or as the story’s subject. Einige der offensichtlichsten und Augen öffnenden Momente der frühen immersiven Erfahrung von heute sind Social.Some of the most immersive and eye-opening moments of today’s early immersive experiences are social. Von der gemeinsamen Nutzung einer gemischten Realität in Ihrem Wohnraum aus, um Ihre Freunde in unglaublich neuen Umgebungen zu sehen.From sharing a mixed reality experience together in your living room, to seeing your friends in unbelievable new environments. Das menschliche Element macht sogar die fantastische Realität, eine Realität.The human element makes even the most fantastic reality, a reality.

Mindshow in VR

Avatare in immersiven Umgebungen ermöglichen eine neue Art von Verkörperung in Storytelling.Avatars in immersive experiences enable a new kind of embodiment in storytelling. Die neuesten apps untersuchen das Konzept des virtuellen Besitz und das Einrichten eines generationsübergreifenden Umsatzes, um den Abstand zwischen den Menschen auszuschließen.The latest apps are rethinking the concept of virtual body ownership and setting up a generational leap in eliminating the distance between people. Unternehmen wie mindshow entwickeln kreative Tools, die Avatars nutzen, sodass Benutzer ganz neue Personas und Zeichen verwenden können.Companies like Mindshow are developing creative tools that leverage avatars, letting users take on entirely new personas and characters. Andere untersuchen Methoden des künstlerischen Ausdrucks, eine potenziell unbegrenzte kreative Gelegenheit, um die Art und Weise von menschenähnlichen Attributen zu erforschen.Others are exploring methods of artistic expression, a potentially limitless creative opportunity to explore the nature (and necessity) of human-like attributes. Heutzutage hilft dieses Fehlen von Realismus dabei, das unheimlichen Tal der menschlichen Ähnlichkeit zu vermeiden und eine Vielzahl technischer Probleme für alltägliche Entwickler zu bieten.Today, this absence of realism helps avoid the uncanny valley of human likeness along with a host of technical issues for everyday developers. Aus diesen Gründen (und mehr) ist es sehr wahrscheinlich, dass nicht realistische Avatare in absehbarer Zeit zum Standardwert werden.For these reasons (and more) it is very likely that non-realistic avatars will become the default for the foreseeable future. Obwohl der Realismus eine große Herausforderung für die gemischte Realität darstellt, gibt es wichtige Szenarien, die eine authentische Darstellung von Menschen im 3D-Raum erfordern .And yet, while realism poses an enormous challenge for mixed reality, there are key scenarios that require authentic representation of humans in 3D space .

Bei Microsoft hat ein kleines Team, das sich aus Microsoft Research herausstellt, in den letzten Jahren die Entwicklung einer Methode zum Erfassen von Menschen über eine Form von Volumetrische Video verbracht.At Microsoft, a small team borne out of Microsoft Research has spent the past several years developing a method for capturing humans through a form of volumetric video. Der heutige Prozess ähnelt der Videoproduktion: anstatt eine Bewegung auf eine in einer Schnittstelle gezeichnete Ressource anzuwenden, handelt es sich um eine vollständige 3D-Aufzeichnung.The process today is similar to video production: rather than applying movement to a sculpted asset it is a full, 3D recording. Die Leistung und das Abbild werden in Echtzeit aufgezeichnet – es handelt sich nicht um die Arbeit eines Künstlers, sondern um eine authentische Darstellung.The performance and the image are captured in real-time — it’s not the work of an artist, it’s an authentic representation. Und obwohl die Technologie nur mit der Erweiterung für kommerzielle Anwendungen beginnt, sind die Auswirkungen von Volumetrische Video für die Vision von Microsoft für mehr persönliche Computing vonentscheidender Bedeutung.And while the technology is just beginning to expand into commercial applications, the implications of volumetric video are critical to Microsoft’s vision of More Personal Computing.

Volumetric-Video SIGGRAPH 2015

Bei authentihuman Capture werden neue einmalige Kategorien von Erfahrungen in gemischter Realität entsperrt.Authentic human capture unlocks new unique categories of experiences in mixed reality. Wenn Sie erkennen, ob es sich um einen prominenten, einen Kollegen oder einen geliebten handelt, wird eine Tiefe von Intimität erstellt, die in einem digitalen Medium nie vor Möglichkeit auftritt.Seeing someone you recognize, whether it’s a celebrity, a colleague, or a loved one, creates a depth of intimacy never before possible in a digital medium. Ihr Gesicht, ihre Ausdrücke, die Nuance in ihren Bewegungen sind alle Teil der Person, die Sie sind.Their face, their expressions, the nuance in their movements are all part of who they are. Welche Chancen entstehen, wenn wir diese menschlichen Qualitäten in 3D-Raum erfassen können?What opportunities unlock when we can capture these human qualities in 3D space?

Heute überträgt das Team die Grenzen des Volumetrische-Videos, indem er sich auf Sektoren wie "Unterhaltungs-und Bildungseinrichtungen" konzentriert: Aktions Gram Features Creative Character und prominente zum Erstellen gemischter Reality Storys.Today the team is pushing the bounds of volumetric video by focusing on sectors like entertainment and education: Actiongram features creative characters and celebrities to create mixed reality stories. Destination: die Mars-Ausstellungim Kennedy Space Center der NASA enthält ein Volumetrische-Video des legendären Astronauten Buzz Aldrin.Destination: Mars exhibit, now at NASA’s Kennedy Space Center, features a volumetric video of legendary astronaut Buzz Aldrin. Die Benutzeroberfläche ermöglicht es den Besuchern, die Oberfläche von Mars mit Hektik zu durchlaufen, da er die Umsetzung der menschlichen Kolonisierung auf Mars einführt.The experience allows visitors to walk around the surface of Mars with Buzz as he introduces the pursuit of human colonization on Mars.

Menschen sind grundlegend für gemischte RealitätHumans are fundamental to mixed reality

Das Entwerfen von Möglichkeiten, diese Videos zu gestalten, stellt eine Herausforderung dar, aber eine, bei der das Team ein enormes Potenzial hat.Designing ways to make these videos seem natural poses a challenge but one in which the team sees enormous potential. Diese Möglichkeiten werden erweitert, da die Technologie leichter zugänglich ist und von Aufzeichnungen zu echt Zeiterfassung wechselt.And these opportunities will expand as the technology becomes more accessible and moves from recordings to real-time capture.

Holoportation ist ein Forschungsaufwand, der auf derselben grundlegenden Technologie aufbaut, visuelle und ausführliche Informationen authentifiziert und das Ergebnis in Echtzeit rendert.Holoportation is a research effort that builds upon the same fundamental technology, authentically capturing visual and depth information, and rendering the result in real-time. Das Team untersucht die Möglichkeiten der realistischen menschlichen Darstellung für die Zukunft von Konversationen und gemeinsamen Erfahrungen.The team is exploring what the power of realistic human representation means for the future of conversations and shared experiences. Was geschieht, wenn eine dreidimensionale Erfassung von einem beliebigen Ort in der Welt Ihrer Umgebung hinzugefügt werden kann?What happens when a three-dimensional capture of someone, from anywhere in the world, can be added into your environment?

Zukunft der Konversation

Von der Schichtung einer neuen Ebene bis hin zu alltäglichen apps wie Skype, um das Konzept digitaler Besprechungen und Geschäftsreisen zu verändern – volummetric-Video eröffnet eindeutige Szenarios: ein Spezialist, der Ärzte auf einem weit entfernten Kontinent oder an digitalen Freunden, die auf den Couches und Lehrstühlen in Ihrem Wohnraum sitzen, praktisch trainiert.From layering a new level of immersion onto everyday apps like Skype, to radically reshaping the concept of digital meetings and business travel — volumetric video opens unique scenarios: A specialist virtually training doctors on a far-away continent or digital friends sitting on the couches and chairs in your living room. Durch das Hinzufügen von authentischen menschlichen Darstellungen in gemischte Realität wird das Konzept digitaler Besprechungen und Geschäftsreisen radikal umgestaltet.Adding authentic human representations to mixed reality experiences will radically reshape the concept of digital meetings and business travel.

Ebenso wie die abstrakte Kunst von James Turrell und der kritische Realismus von Ai Weiwei ihre eigenen besonderen technischen Herausforderungen bieten, stellen die Methoden so dar, dass Menschen als kreative Avatare und realistische Erfassungen dargestellt werden.Just as the abstract art of James Turrell and the critical realism of Ai Weiwei offer their own unique technical challenges, so do the methods to represent humans as creative avatars and realistic captures. Eine kann nicht in der anderen ignoriert werden, und das Potenzial der einzelnen Benutzer hilft uns, die menschliche Interaktion in diesem neuen Raum zu verstehen.One cannot be ignored in light of the other and exploring the potential of each will help us understand human interaction in this new space.

Zum AutorAbout the author

Picture of Mark Vitazko Markieren von vitazkoMark Vitazko
UX-Designer @MicrosoftUX Designer @Microsoft