Einführung in instinktive InteraktionenIntroducing instinctual interactions

Fernmanipulation mit den Händen

Die Philosophie der einfachen, instinktiven Interaktionen ist in der gesamten Mixed Reality-Plattform (MR) verwurzelt.The philosophy of simple, instinctual interactions is interwoven throughout the mixed reality (MR) platform. Wir haben drei Schritte unternommen, um sicherzustellen, dass Anwendungsdesigner und -entwickler ihren Kunden einfache und intuitive Interaktionen bereitstellen können.We've taken three steps to ensure that application designers and developers can provide their customers with easy and intuitive interactions.

Zunächst haben wir dafür gesorgt, dass unsere Sensoren und Eingabetechnologien zu multimodalen Interaktionsmodellen kombiniert werden.First, we've made sure our sensors and input technologies combine into multimodal interaction models. Diese Interaktionsmodelle umfassen das Hand- und Eyetracking sowie Eingaben in natürlicher Sprache.These interaction models include hand and eye tracking along with natural language input. Basierend auf unseren Studien ist das kombinierte Entwerfen und Entwickeln in einem multimodalen Framework – und nicht die Fokussierung auf einzelne Eingaben – der Schlüssel zur Realisierung instinktiver Erfahrungen.Based on our research, designing and developing within a multimodal framework (and not based on individual inputs) is the key to creating instinctual experiences.

Zweitens haben wir erkannt, dass viele Entwickler auf mehrere HoloLens-Geräte ausgerichtet sind, z. B. HoloLens 2 und HoloLens (1. Generation) oder HoloLens und VR.Second, we recognize that many developers target multiple HoloLens devices, such as HoloLens 2 and HoloLens (1st gen) or HoloLens and VR. Deshalb haben wir unsere Interaktionsmodelle so konzipiert, dass sie geräteübergreifend funktionieren, auch wenn die Eingabetechnologie von Gerät zu Gerät variiert.So we've designed our interaction models to work across devices, even if the input technology varies on each device. So verwenden z. B. die ferne Interaktion bei einem Windows Immersive Headset mit einem 6DoF-Controller und HoloLens 2 jeweils dieselben Angebote und Muster.For example, far interaction on a Windows Immersive headset with a 6DoF controller and HoloLens 2 both use identical affordances and patterns. Dies erleichtert die geräteübergreifende Entwicklung und bietet Benutzerinteraktionen, die sich natürlich anfühlen.This makes it easy for cross-device application development and provides a natural feel to user interactions.

Wir haben zwar erkannt, dass Mixed Reality (MR) Tausende von effektiven, ansprechenden und einzigartigen Interaktionen bietet, aber wir haben festgestellt, dass der bewusste Einsatz eines einzelnen umfassenden Interaktionsmodells in einer Anwendung der beste Weg ist, um sicherzustellen, dass Benutzer erfolgreich sind und ein großartiges Erlebnis haben.While we recognize that there are thousands of effective, engaging, and magical interactions possible in MR, we've found that intentionally employing a single interaction model in an application is the best way to ensure users are successful and have a great experience. Zu diesem Zweck haben wir drei Punkte in diese Interaktionsanleitung einbezogen:To that end, we've included three things in this interaction guidance:

  • Diese Anleitung um die drei primären Interaktionsmodelle und die für jedes einzelne Modell erforderlichen Komponenten und Muster.Specific guidance around the three primary interaction models and the components and patterns required for each.
  • Zusätzliche Anleitungen zu weiteren Vorteilen, die unsere Plattform bietet.Supplemental guidance about other benefits that our platform provides.
  • Allgemeine Anleitungen zur Auswahl des geeigneten Interaktionsmodells für Ihr Entwicklungsszenario.General guidance to help select the appropriate interaction model for your development scenario.

Kombinierte InteraktionsmodelleMultimodal interaction models

Ausgehend von unseren Studien und dem Feedback von Kunden haben wir festgestellt, dass drei primäre Interaktionsmodelle für die meisten Mixed Reality-Umgebungen geeignet sind.Based on our research and feedback from customers, we've discovered that three primary interaction models suit most mixed reality experiences. In vielerlei Hinsicht ist das Interaktionsmodell das mentale Modell des Benutzers zur Durchführung eines Workflows.In many ways, the interaction model is the user's mental model for how to complete a workflow. Jedes dieser Interaktionsmodelle ist für eine Reihe von Kundenanforderungen optimiert und ist bei richtiger Anwendung benutzerfreundlich, leistungsstark und praktikabel.Each of these interaction models is optimized for a set of customer needs and is convenient, powerful, and usable when used correctly.

Das folgende Diagramm stellt eine vereinfachte Übersicht dar.The chart below is a simplified overview. Ausführliche Informationen zur Verwendung der einzelnen Interaktionsmodelle sind auf den folgenden Seiten mit Bildern und Codebeispielen verknüpft.Detailed information for using each interaction model is linked in the pages below with images and code samples.


ModellModel BeispielszenarienExample scenarios EignungFit HardwareHardware
Hände und Motion-ControllerHands and motion controllers 3D-Raumerlebnisse, z. B. räumliches Layout und räumlicher Entwurf, Inhaltsmanipulation oder Simulation.3D spatial experiences, such as spatial layout and design, content manipulation, or simulation. Ideal für neue Benutzer, kombiniert mit Stimme, Eyetracking oder Anvisieren mit dem Kopf.Great for new users coupled with voice, eye tracking or head gaze. Niedrige Lernkurve.Low learning curve. Konsistente Benutzererfahrung für Handtracking und Controller mit 6 Freiheitsgraden.Consistent UX across hand tracking and 6DoF controllers. HoloLens 2HoloLens 2
Immersive HeadsetsImmersive headsets
FreihändigHands-free Kontextbezogene Erfahrungen, bei denen die Hände eines Benutzers beschäftigt sind, z. B. praxisnahes Lernen und Wartung.Contextual experiences where a user's hands are occupied, such as on-the-job learning and maintenance. Gewisser Lernaufwand erforderlich.Some learning required. Das Gerät ist gut für Stimme und natürliche Sprache geeignet, wenn die Hände nicht verfügbar sind.If hands are unavailable, the device pairs well with voice and natural language. HoloLens 2HoloLens 2
HoloLens (1. Generation)HoloLens (1st gen)
Immersive HeadsetsImmersive headsets
Anvisieren und AusführenGaze and commit Durchklickumgebungen, beispielsweise 3D-Präsentationen und Demos.Click-through experiences, for example, 3D presentations, demos. Erfordert Training für HMDs, aber nicht für mobile Geräte.Requires training on HMDs but not on mobile. Ideal für verfügbare Controller.Best for accessible controllers. Ideal für HoloLens (1. Generation).Best for HoloLens (1st gen). HoloLens 2HoloLens 2
HoloLens (1. Generation)HoloLens (1st gen)
Immersive HeadsetsImmersive headsets
Mobile ARMobile AR

Zum Vermeiden von Lücken in der erlebten Benutzerinteraktion besteht das beste Vorgehen darin, die Anleitung für ein bestimmtes Modell von Anfang bis Ende zu befolgen.To avoid gaps in the user interaction experience, it's best to follow the guidance for a single model from beginning to end.

Die folgenden Abschnitte führen durch die Schritte zur Auswahl und Implementierung eines dieser Interaktionsmodelle.The sections below walk through the steps for selecting and implementing one of these interaction models.

Am Ende dieser Seite werden Sie unsere Anleitung zu Folgendem verstehen:By the end of this page, you'll understand our guidance on:

  • Auswählen eines Interaktionsmodells für Ihren KundenChoosing an interaction model for your customer
  • Implementieren des InteraktionsmodellsImplementing the interaction model
  • Wechseln zwischen InteraktionsmodellenTransitioning between interaction models
  • Entwerfen der nächsten SchritteDesign next steps

Auswählen eines Interaktionsmodells für Ihren KundenChoose an interaction model for your customer

In der Regel haben Entwickler und Ersteller die Arten von Interaktionen, die Ihre Kunden ausführen können, bereits durchdacht.Typically, developers and creators have thought through the types of interactions that their customers can have. Um einen kundenorientierten Ansatz für den Entwurf zu fördern, empfehlen wir Ihnen die folgende Anleitung zur Auswahl des für Ihren Kunden optimierten Interaktionsmodells.To encourage a customer-focused approach to design, we recommend the following guidance for selecting the interaction model that's optimized for your customer.

Gründe zum Befolgen dieser AnleitungWhy follow this guidance?

  • Wir testen unsere Interaktionsmodelle nach objektiven und subjektiven Kriterien, wie physischer und kognitiver Leistung, Intuitivität und Erlernbarkeit.We test our interaction models for objective and subjective criteria, including physical and cognitive effort, intuitiveness, and learnability.
  • Da die Interaktion unterschiedlich verläuft, können sich auch die visuellen/akustischen Angebote sowie das Objektverhalten zwischen Interaktionsmodellen unterscheiden.Because interactions differ, visual/audio affordances and object behavior might differ between interaction models.
  • Die Kombination von Komponenten verschiedener Interaktionsmodelle birgt das Risiko konkurrierender Angebote, z. B. simultane Handstrahlen und ein Cursor zum Anvisieren mit dem Kopf.Combining parts of multiple interaction models creates the risk of competing affordances, such as simultaneous hand rays and a head-gaze cursor. Dies kann Benutzer überfordern und verwirren.This can overwhelm and confuse users.

Hier folgen einige Beispiele dazu, wie Angebote und Verhaltensweisen für die einzelnen Interaktionsmodelle optimiert werden.Here are some examples of how affordances and behaviors are optimized for each interaction model. Neue Benutzer haben häufig ähnliche Fragen, z. B. „Woher weiß ich, dass das System funktioniert?“ , „Woher weiß ich, über welche Möglichkeiten ich verfüge?“ und „Woher weiß ich, ob es verstanden hat, was ich gerade getan habe?“ .We often see new users have similar questions, such as "how do I know the system is working", "how do I know what I can do", and "how do I know if it understood what I just did?"


ModellModel Woher weiß ich, dass es funktioniert?How do I know it's working? Woher weiß ich, über welche Möglichkeiten ich verfüge?How do I know what I can do? Woher weiß ich, was ich gerade getan habe?How do I know what I just did?
Hände und Motion-ControllerHands and motion controllers Ich sehe ein Handgittermodell, ein Fingerspitzenangebot oder Hand-/Controllerstrahlen.I see a hand mesh, a fingertip affordance, or hand/controller rays. Es werden greifbare Ziehpunkte oder ein Begrenzungsrahmen angezeigt, wenn die Hand sich in der Nähe des Objekts befindet.I see grabbable handles, or a bounding box appears when my hand is near an object. Ich höre Töne und sehe Animationen beim Greifen und Loslassen.I hear audible tones and see animations on grab and release.
Anvisieren mit dem Kopf und AusführenHead-gaze and commit Ich sehe einen Cursor in der Mitte meines Sichtfelds.I see a cursor in the center of my field of view. Der Cursor wechselt den Zustand, wenn er sich über bestimmten Objekten befindet.The cursor changes state when it's over certain objects. Ich sehe/höre beim Agieren visuelle und akustische Bestätigungen.I see/hear visual and audible confirmations when I take action.
Freihändig (Anvisieren mit dem Kopf und Verweilen)Hands-free (Head-gaze and dwell) Ich sehe einen Cursor in der Mitte meines Sichtfelds.I see a cursor in the center of my field of view. Ich sehe eine Statusanzeige, wenn ich über einem interaktionsfähigen Objekt verweile.I see a progress indicator when I dwell on an interactable object. Ich sehe/höre beim Agieren visuelle und akustische Bestätigungen.I see/hear visual and audible confirmations when I take action.
Freihändig (Sprachbefehle)Hands-free (Voice commanding) Ich sehe eine Anzeige zur Spracherkennung und Untertitel, die zeigen, was das System gehört hat.I see a listening indicator and captions that show what the system heard. Ich erhalte Sprachansagen und Hinweise.I get voice prompts and hints. Wenn ich Folgendes sage: Was kann ich sagen?When I say: "What can I say?" Ich sehe ein Feedback.I see feedback. Ich sehe/höre visuelle und akustische Bestätigungen, wenn ich einen Befehl erteile, oder erhalte bei Bedarf die Benutzerumgebung zur Mehrdeutigkeitsvermeidung.I see/hear visual and audible confirmations when I give a command, or get disambiguation UX when needed.

Nachfolgend sind Fragen aufgeführt, die Teams (gemäß unserer Erfahrung) bei der Auswahl eines Interaktionsmodells geholfen haben:Below are questions that we've found help teams select an interaction model:

  1. Q: Möchten meine Benutzer Hologramme berühren und präzise holografische Eingriffe durchführen?Q: Do my users want to touch holograms and perform precision holographic manipulations?

    A: In diesem Fall sollten Sie das Interaktionsmodell für Hände und Motion-Controller für die Präzisionszielbestimmung und für Eingriffe ausprobieren.A: If so, check out the Hands and motion controllers interaction model for precision targeting and manipulation.

  2. Q: Müssen meine Benutzer für reale Aufgaben die Hände frei haben?Q: Do my users need to keep their hands free for real-world tasks?

    A: In diesem Fall sollten Sie sich das Interaktionsmodell „Freihändig“ ansehen, das durch blick- und sprachbasierte Interaktionen eine großartige freihändige Umgebung bietet.A: If so, take a look at the Hands-free interaction model, which provides a great hands-free experience through gaze and voice-based interactions.

  3. Q: Haben meine Benutzer Zeit, Interaktionen für meine MR-Anwendung zu erlernen, oder sind Interaktionen mit einer möglichst geringen Lernkurve erforderlich?Q: Do my users have time to learn interactions for my MR application or do they need the interactions with the lowest learning curve possible?

    A: Wir empfehlen das Modell für Hände und Motion-Controller für die flachste Lernkurve und intuitivste Interaktion, sofern die Benutzer ihre Hände zur Interaktion nutzen können.A: For the lowest learning curve and most intuitive interactions, we recommend the Hands and motion controllers model, as long as users can use their hands for interaction.

  4. Q: Verwenden meine Benutzer Motion-Controller zum Zeigen und Bearbeiten?Q: Do my users use motion controllers for pointing and manipulation?

    A: Das Modell für Hände und Motion-Controller enthält alle Anleitungen für ein großartiges Erlebnis mit den Motion-Controllern.A: The Hands and motion controllers model includes all guidance for a great experience with motion controllers.

  5. Q: Verwenden meine Benutzer einen Controller für Barrierefreiheit oder einen herkömmlichen Bluetooth-Controller, z. B. ein Klick-Gerät?Q: Do my users use an accessibility controller or a common Bluetooth controller, such as a clicker?

    A: Wir empfehlen das Modell „Anvisieren mit dem Kopf und Ausführen“ für alle nicht nachverfolgten Controller.A: We recommend the Head-gaze and commit model for all non-tracked controllers. Es wurde für Benutzer entwickelt, um ein ganzheitliches Erlebnis mit einem einfachen Mechanismus für „Anvisieren und Ausführen“ zu durchlaufen.It's designed to allow a user to traverse an entire experience with a simple "target and commit" mechanism.

  6. Q: Können meine Benutzer in einer Umgebung nur durch „Durchklicken“ voranschreiten (z. B. wie bei einer 3D-Diashow), anstatt durch kompakte Layouts von Steuerelementen der Benutzeroberfläche zu navigieren?Q: Do my users only progress through an experience by "clicking through" (for example in a 3D slideshow-like environment), as opposed to navigating dense layouts of UI controls?

    A: Wenn Benutzer nicht viele Komponenten einer Benutzeroberfläche steuern müssen, bietet „Anvisieren mit dem Kopf und Ausführen“ eine erlernbare Option, bei der sich Benutzer nicht um die Zielbestimmung kümmern müssen.A: If users don't need to control a lot of UI, Head-gaze and commit offers a learnable option where users don't have to worry about targeting.

  7. Q: Verwenden meine Benutzer sowohl HoloLens (1. Generation) als auch HoloLens 2/Immersive Windows Mixed Reality-Headsets (VR)?Q: Do my users use both HoloLens (1st gen) and HoloLens 2/Windows Mixed Reality immersive headsets (VR)?

    A: Da „Anvisieren mit dem Kopf und Ausführen“ das Interaktionsmodell für HoloLens (1. Generation) ist, empfehlen wir Entwicklern, die HoloLens (1. Generation) unterstützen, „Anvisieren mit dem Kopf und Ausführen“ nur alle Features oder Modi zu verwenden, die Benutzer auf einem HoloLens-Headset (1. Generation) erleben können.A: Since Head-gaze and commit are the interaction model for HoloLens (1st gen), we recommend that creators who support HoloLens (1st gen) use Head-gaze and commit for any features or modes that users will experience on a HoloLens (1st gen) headset. Weitere Informationen zur Erstellung einer großartigen Umgebung für mehrere HoloLens-Generationen finden Sie unter Wechseln zwischen Interaktionsmodellen.See the next section on Transitioning interaction models for details on making a great experience for multiple HoloLens generations.

  8. Q: Wie sieht es mit mobilen Benutzern, die einen großen Raum abdecken oder sich zwischen verschiedenen Räumen bewegen, im Vergleich mit Benutzern aus, die dazu neigen, in einem einzelnen Raum zu arbeiten?Q: What about users who are mobile, covering a large space or moving between spaces, versus users who tend to work in a single space?

    A: Für diese Benutzer ist jedes der Interaktionsmodelle geeignet.A: Any of the interaction models will work for these users.

Hinweis

Weitere Anleitungen zum App-Design sind bald verfügbar.More guidance specific to app design coming soon.

Wechseln zwischen InteraktionsmodellenTransitioning interaction models

Es kann auch vorkommen, dass Ihre Anwendungsfälle die Verwendung mehrerer Interaktionsmodelle erfordern.There are also use cases that might require using more than one interaction model. Beim „Erstellungsablauf“ Ihrer Anwendung wird z. B. das Interaktionsmodell „Hände und Motion-Controller“ verwendet, aber Sie möchten einen Freihandmodus für Außendiensttechniker verwenden.For example, your application's creation flow uses the "hands and motion controllers" interaction model, but you want to employ a hands-free mode for field technicians. Wenn Ihre Umgebung mehrere Interaktionsmodelle erfordert, haben die Benutzer möglicherweise Schwierigkeiten beim Übergang von einem Modell zum anderen, insbesondere, wenn sie noch nicht mit Mixed Reality vertraut sind.If your experience does require multiple interaction models, users might have difficulty transitioning from one model to another, especially when they're new to mixed reality.

Hinweis

Wir arbeiten ständig an weiteren Anleitungen, die Entwicklern und Designern zur Verfügung stehen werden und sie über das Wie, Wann und Warum für den Einsatz mehrerer MR-Interaktionsmodelle informieren sollen.We're constantly working on more guidance that will be available to developers and designers, informing them about the how, when, and why for using multiple MR interaction models.

Siehe auchSee also