Was ist Mixed Reality?What is Mixed Reality?

Zeigen und Bestätigen mit den Händen auf HoloLens 2

Mixed Reality ist eine Mischung aus physischer und digitaler Welt, die die Verknüpfungen in der Interaktion zwischen Menschen, Computern und Umgebung freisetzt.Mixed Reality is a blend of physical and digital worlds, unlocking the links between human, computer, and environment interaction. Diese neue Realität wird durch Fortschritte beim maschinellen Sehen, der Grafikverarbeitungsleistung, den Anzeigetechnologien und den Eingabesystemen ermöglicht.This new reality is based on advancements in computer vision, graphical processing power, display technology, and input systems. Der Begriff Mixed Reality wurde jedoch 1994 in einer Arbeit von Paul Milgram und Fumio Kishino eingeführt, „A Taxonomy of Mixed Reality Visual Displays“.However, the term Mixed Reality was introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." In diesem Artikel wurde das Konzept des Virtualitätskontinuums untersucht und behandelt, wie sich die Kategorisierung der Taxonomie auf Displays anwenden lässt.Their paper explored the concept of the virtuality continuum and the categorization of taxonomy applied to displays. Seitdem hat sich die Anwendung von Mixed Reality über Displays hinaus entwickelt und beinhaltet nun:Since then, the application of Mixed Reality has gone beyond displays to include:

  • UmgebungseingabenEnvironmental input
  • RaumklangSpatial sound
  • Orte und Positionierung in realen wie in virtuellen RäumenLocations and positioning in both real and virtual spaces

Abbildung des Mixed Reality-SpektrumsThe Mixed Reality spectrum image
Abbildung: Mixed Reality ist das Ergebnis der Verschmelzung der physischen Welt mit der digitalen Welt.Image: Mixed Reality is the result of blending the physical world with the digital world.



Umgebungseinfluss und WahrnehmungEnvironmental input and perception

In den letzten Jahrzehnten wurde die Untersuchung der Beziehung zwischen menschlicher und Computereingabe fortgeführt. Dies führte zu der Disziplin, die als Mensch-Computer-Interaktion oder HCI (Human Computer Interaction) bezeichnet wird.Over the past several decades, exploration into the relationship between human and computer input has continued, leading to the discipline known as human computer interaction or HCI. Menschliche Eingaben erfolgen mit einer Reihe von Mitteln, darunter Tastaturen, Mäuse, Berührung, Freihand, Sprache und sogar Skelettnachverfolgung (Kinect).Human input happens through different means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

Fortschritte bei Sensoren und Verarbeitung schaffen ein neues Zeitalter der Computereingaben aus der Umgebung.Advancements in sensors and processing are creating new areas of computer input from environments. Die Interaktion zwischen Computern und Umgebungen stellt ein Verstehen der Umwelt oder Wahrnehmung dar, weshalb die APIs in Windows, die Umgebungsinformationen offenlegen, als Wahrnehmungs-APIs bezeichnet werden.The interaction between computers and environments is environmental understanding or perception, which is why the API names in Windows that reveal environmental information are called the perception APIs. Bei der Umgebungseingabe werden Dinge wie die Position einer Person in der Welt (Kopfnachverfolgung), Flächen und Begrenzungen (räumliche Abbildung und Szenenverständnis), Umgebungslicht, Umgebungsgeräusche, Objekterkennung und Standort erfasst.Environmental input captures things like a person's position in the world (head tracking), surfaces, and boundaries (spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


Venn-Diagramm, das Interaktionen zwischen Computern, Menschen und Umgebungen anzeigtVenn diagram showing interactions between computers, humans and environments

Abbildung: Die Interaktionen zwischen Computern, Menschen und Umgebungen.

Image: The interactions between computers, humans, and environments.


Die Kombination aus allen dreien – Computerverarbeitung, menschliche Eingaben und Umgebungseingaben –- eröffnet die Möglichkeit, echte Mixed Reality-Erfahrungen zu schaffen.The combination of all three - computer processing, human input, and environmental input - sets the stage for creating true Mixed Reality experiences. Bewegung in der physischen Welt wird in Bewegung in der digitalen Wert übersetzt.Movement through the physical world translates to movement in the digital world. Begrenzungen in der physischen Welt haben in der digitalen Welt Einfluss auf das Erleben von Anwendungen, beispielsweise in Computerspielen.Boundaries in the physical world influence application experiences, such as game play, in the digital world. Ohne Umgebungseinfluss kann keine Mischung aus physischer und digitaler Realität entstehen.Without environmental input, experiences can't blend between physical and digital realities.



Das Spektrum von Mixed RealityThe Mixed Reality spectrum

Da Mixed Reality sowohl physische als auch digitale Welten kombiniert, definieren diese beiden Realitäten die Pole eines Spektrums, das als Virtualitätskontinuum bezeichnet wird.Since Mixed Reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. Wir bezeichnen dieses Feld von Realitäten als Spektrum von Mixed Reality.We refer to the array of realities as the Mixed Reality spectrum. Auf der linken Seite liegt die physische Realität, in der wir als Menschen leben.On the left-hand side, we have the physical reality that we as humans exist in. Auf der rechten Seite haben wir die entsprechende digitale Realität.On the right-hand side, we have the corresponding digital reality.



Augmented Reality im Vergleich mit Virtual RealityAugmented vs. virtual reality

Die meisten aktuell verfügbaren Mobiltelefone haben kaum oder keine Fähigkeiten zum Verstehen der Umgebung.Most mobile phones on the market today have little to no environmental understanding capabilities. Die von ihnen angebotenen Erfahrungen können keine Mischung aus physischer und digitaler Realität darstellen.The experiences they offer can't mix physical and digital realities. Die Benutzererfahrungen, bei denen Grafiken Videostreams der realen Welt überlagert werden, sind Augmented Reality.The experiences that overlay graphics on video streams of the physical world are augmented reality. Die Benutzererfahrungen, die Ihre Sicht verdecken, um ein digitales Erlebnis darzustellen, sind Virtual Reality.The experiences that occlude your view to present a digital experience are virtual reality. Die Erfahrungen, die zwischen Augmented Reality und Virtual Reality möglich sind, bilden die Mixed Reality:The experiences enabled between augmented and virtual reality form Mixed Reality:

  • Ausgehend von der physischen Welt kann ein digitales Objekt platziert werden, etwa ein Hologramm, so, als wäre es vorhanden.Starting with the physical world, placing a digital object, such as a hologram, as if it was there.
  • Ausgehend von der physischen Welt kann eine digitale Darstellung einer anderen Person – ein Avatar – den Ort anzeigen, an dem die Person stand, als sie Notizen verfasste.Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. Dies sind mit anderen Worten Benutzererfahrungen, die asynchrone Zusammenarbeit zu verschiedenen Zeitpunkten darstellen.In other words, experiences that represent asynchronous collaboration at different points in time.
  • Ausgehend von einer digitalen Welt können physische Begrenzungen der physischen Welt wie Wände und Möbel digital innerhalb der Benutzererfahrung erscheinen, um Benutzern dabei zu helfen, physische Hindernisse zu umgehen.Starting with a digital world, physical boundaries from the physical world like walls and furniture appear digitally within the experience to help users avoid physical objects.

Das Spektrum von Mixed RealityThe Mixed Reality spectrum
Abbildung: Das Spektrum von Mixed RealityImage: The Mixed Reality spectrum


Die meisten heute verfügbaren Angebote an Augmented Reality-und Virtual Reality stellen einen kleinen Teil dieses Spektrums dar und werden als Teilmengen des größeren Mixed Reality-Spektrums angesehen.Most augmented reality and virtual reality offerings available today represent a small part of this spectrum and are considered subsets of the larger Mixed Reality spectrum. Windows 10 wurde im Hinblick auf das gesamte Spektrum konzipiert und ermöglicht das Mischen digitaler Darstellungen von Personen, Orten und Gegenständen mit der realen Welt.Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Geräte und ErlebnisseDevices and experiences

Es gibt zwei Hauptarten von Geräten, die Windows Mixed Reality-Erlebnisse bieten:There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. Holografische Geräte zeichnen sich durch die Fähigkeit aus, digitale Inhalte so in der realen Welt zu platzieren, als wären sie vorhanden.Holographic devices are characterized by the device's ability to place digital content in the real world as if it were there.
  2. Immersive Geräte zeichnen sich durch die Fähigkeit aus, einen Eindruck von „Gegenwart“ zu erzeugen, indem sie die physische Welt ausblenden und sie durch ein digitales Erlebnis ersetzen.Immersive devices are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
MerkmalCharacteristic Holografische -GeräteHolographic devices Immersive GeräteImmersive devices
BeispielgerätExample device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
AnzeigeDisplay Transparente Anzeige.See-through display. Ermöglicht Benutzern, die physische Umgebung zu sehen, während sie das Headset tragen.Allows user to see the physical environment while wearing the headset. Opake Anzeige.Opaque display. Sperrt die physische Umgebung während des Tragens des Headsets aus.Blocks out the physical environment while wearing the headset.
MovementMovement Volle sechs Freiheitsgrade für Bewegung, sowohl Drehung als auch Verschiebung.Full six-degrees-of-freedom movement, both rotation and translation. Volle sechs Freiheitsgrade für Bewegung, sowohl Drehung als auch Verschiebung.Full six-degrees-of-freedom movement, both rotation and translation.

Hinweis

Ob ein Gerät (per USB-Kabel oder WLAN) mit einem separaten PC verbunden oder eigenständig (nicht verbunden) ist, sagt nichts darüber aus, ob das Gerät holografisch oder immersiv ist.Whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) doesn't reflect whether a device is holographic or immersive. Features, die eine Verbesserung der Mobilität bewirken, führen zu besseren Benutzererfahrungen, und sowohl holografische als auch immersive Geräte können gebunden oder eigenständig sein.Features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

Der technologische Fortschritt ermöglicht Mixed Reality-Erlebnisse, aber es gibt heute noch keine Geräte, die Erlebnisse über das gesamte Spektrum hinweg ausführen können.Technological advancement enables Mixed Reality experiences, but there aren't any devices today that can run experiences across the entire spectrum. Windows 10 bietet eine gemeinsame Mixed Reality-Plattform für Gerätehersteller und Entwickler.Windows 10 provides a common Mixed Reality platform for both device manufacturers and developers. Heutzutage können Geräte einen bestimmten Bereich innerhalb des Mixed Reality-Spektrums unterstützen, und dieser Bereich wird durch neue Geräte erweitert.Devices today can support a specific range within the Mixed Reality spectrum, with new devices expanding that range. In Zukunft werden holografische Geräte immersiv und immersive Geräte stärker holografisch.In the future, holographic devices will be immersive, and immersive devices will be more holographic.


Gerätetypen im Mixed Reality-SpektrumDevice types in the Mixed Reality spectrum
Abbildung: Der Platz von Geräten im Mixed Reality-SpektrumImage: Where devices exist on the Mixed Reality spectrum

Am besten ist es, sich zu überlegen, welche Art von Erfahrung ein Anwendungs- oder Spielentwickler schaffen möchte.It's best to think what type of experience an application or game developer wants to create. Die Erfahrungen zielen normalerweise auf einen bestimmten Punkt oder Teil des Spektrums ab.The experiences will typically target a specific point or part on the spectrum. Entwickler sollten die Fähigkeiten der Geräte berücksichtigen, für die sie entwickeln möchten.Developers should consider the capabilities of devices they want to target. Erfahrungen, die auf der physischen Welt basieren, lassen sich optimal in HoloLens ausführen.Experiences that rely on the physical world will run best on HoloLens.

  • Mehr links (nahe an der physischen Realität).Towards the left (near physical reality). Benutzer verbleiben in ihrer physischen Umgebung, und ihnen wird nie vermittelt, sie hätten diese Umgebung verlassen.Users remain present in their physical environment and are never made to believe they have left that environment.
  • In der Mitte (vollständige Mixed Reality).In the middle (fully Mixed Reality). Diese Benutzererfahrungen bestehen aus einer Mischung aus realer Welt und digitaler Welt.These experiences blend the real world and the digital world. Leser, die den Film Jumanji gesehen haben, können nachvollziehen, wie die physische Struktur des Hauses, in dem die Geschichte spielt, mit einer Dschungelumgebung gemischt wurde.Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • Mehr rechts (nahe an der digitalen Realität).Towards the right (near digital reality). Die Benutzer erleben eine digitale Umgebung und sind sich nicht bewusst, was sich in der sie umgebenden physischen Umgebung ereignet.Users experience a digital environment, and are unaware of what occurs in the physical environment around them.

Nächster ErkundungsprüfpunktNext Discovery Checkpoint

Wenn Sie der Erkundungs-Journey folgen, die wir entworfen haben, befinden Sie sich mitten im Kennenlernen der Grundlagen der Mixed Reality.If you're following the discovery journey we've laid out, you're in the midst of exploring the basics of Mixed Reality. Von hier aus können Sie mit dem nächsten grundlegenden Thema fortfahren:From here, you can continue to the next foundational topic: