Anvisieren und Bestätigen

Blick und Commit ist ein grundlegendes Eingabemodell, das eng mit der Art und Weise verknüpft ist, wie wir mit unseren Computern interagieren: Zeigeklick&. Auf dieser Seite stellen wir zwei Arten von Blickeingaben (Kopf- und Blick) und verschiedene Arten von Commitaktionen vor. Blick und Commit gilt als ein Weiteingabemodell mit indirekter Manipulation. Es wird am besten für die Interaktion mit holografischen Inhalten verwendet, die nicht erreichbar sind.

Mixed Reality-Headsets können die Position und Ausrichtung des Kopfes des Benutzers verwenden, um ihren Kopfrichtungsvektor zu bestimmen. Stellen Sie sich den Blick als Laser vor, der direkt zwischen den Augen des Benutzers zeigt. Dies ist eine ziemlich grobe Annäherung hinsichtlich der Position, die der Benutzer betrachtet. Ihre Anwendung kann diesen Ray mit virtuellen oder realen Objekten überschneiden und an dieser Stelle einen Cursor zeichnen, um dem Benutzer mitzuteilen, was er anstrebt.

Zusätzlich zu Kopfblicken umfassen einige Mixed Reality-Headsets, wie z. B. HoloLens 2, Eye Tracking-Systeme, die einen Eye-Gaze-Vektor erzeugen. Dies ermöglicht eine präzisere Messung der Position, die der Benutzer betrachtet. In beiden Fällen stellt der Blick ein wichtiges Signal für die Absicht des Benutzers dar. Je besser das System die beabsichtigten Aktionen des Benutzers interpretieren und prognostizieren kann, desto mehr Benutzerzufriedenheit und Leistung verbessert sich.

Nachfolgend finden Sie einige Beispiele dafür, wie Sie als Mixed Reality-Entwickler von Kopf- oder Augenblick profitieren können:

  • Ihre App kann den Blick mit den Hologrammen in Ihrer Szene überschneiden, um zu bestimmen, wo sich die Aufmerksamkeit des Benutzers befindet (genauer mit Augenblick).
  • Ihre App kann Gesten und Controllereingaben basierend auf dem Blick des Benutzers kanalisieren, aktivieren, aktivieren, greifen, scrollen oder anderweitig mit ihren Hologrammen interagieren.
  • Ihre App kann es dem Benutzer ermöglichen, Hologramme auf realen Oberflächen zu platzieren, indem er seinen Blickstrahl mit dem räumlichen Zuordnungsgitter überschneiden.
  • Ihre App kann wissen, wann der Benutzer nicht in richtung eines wichtigen Objekts sucht, was dazu führen kann, dass Ihre App visuelle und Audiohinweise gibt, um zu diesem Objekt zu wechseln.

Geräteunterstützung

Eingabemodell HoloLens (1. Generation) HoloLens 2 Immersive Headsets
Anvisieren mit dem Kopf und Ausführen ✔️ Empfohlen ✔️ Empfohlen (dritte Auswahl – Siehe andere Optionen) ➕ Alternative Option
Anvisieren mit den Augen und Ausführen ❌ Nicht verfügbar ✔️ Empfohlen (dritte Auswahl – Siehe andere Optionen) ❌ Nicht verfügbar

Demo der Entwurfskonzepte für Kopf- und Eyetracking

Wenn Sie die Entwurfskonzepte für Kopf- und Eyetracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Entwerfen von Hologrammen: Kopf- und Eyetracking an. Wenn Sie fertig sind, fahren Sie mit einem ausführlicheren Einblick in bestimmte Themen fort.

Dieses Video stammt aus der HoloLens 2-App "Entwerfen von Hologrammen". Sie können das vollständige Erlebnis hier herunterladen und genießen.

Anvisieren

Augen- oder Kopfblick?

Es gibt mehrere Überlegungen, wenn Sie mit der Frage konfrontiert sind, ob Sie das Eingabemodell "Blick und Commit" oder "Kopf-Blick und Commit" verwenden sollten. Wenn Sie für ein immersives Headset oder für HoloLens (1. Generation) entwickeln, ist die Wahl einfach: Head-Gaze und Commit. Wenn Sie sich für HoloLens 2 entwickeln, wird die Wahl etwas schwieriger. Es ist wichtig, die Vorteile und Herausforderungen zu verstehen, die mit jedem von ihnen kommen. In der nachstehenden Tabelle haben wir einige breite Profis und Cons kompiliert, um Kopf- und Blickzielen zu kontrastieren. Dies ist weit von vollständig und wir empfehlen, mehr über Eye-Gaze-Targeting in Mixed Reality hier zu erfahren:

  • Eye tracking on HoloLens 2: Allgemeine Einführung unserer neuen Eye Tracking-Funktion zu HoloLens 2 einschließlich einiger Entwicklerleitlinien.
  • Blickinteraktion: Designaspekte und Empfehlungen bei der Planung der Verwendung von Eye Tracking als Eingabe.
Blickadressierung Anvisieren mit dem Kopf
Schnell! Langsamer
Geringer Aufwand (kaum Körperbewegungen erforderlich) Kann fett sein - Mögliche Beschwerden (z. B. Halsstamm)
Erfordert keinen Cursor, aber subtiles Feedback wird empfohlen. Erfordert, dass ein Cursor angezeigt wird
Keine glatten Augenbewegungen – zum Beispiel nicht gut für die Zeichnung Kontrollierter und expliziter
Schwierig für kleine Ziele (z. B. kleine Schaltflächen oder Weblinks) Zuverlässige! Großer Fallback!
... ...

Ganz gleich, ob Sie Head-Gaze oder Eye-Gaze für Ihr Blick- und Commit-Eingabemodell verwenden, die jeweils mit unterschiedlichen Designeinschränkungen verbunden sind. Diese werden separat im Augenblick behandelt und übernehmen und Kopf- und Kopfblicke und Commitartikel.



Cursor

Bei Kopfsicht sollten die meisten Apps einen Cursor oder eine andere visuelle Anzeige verwenden, um dem Benutzer vertrauen zu können, mit dem sie interagieren möchten. Sie positionieren diesen Cursor normalerweise in der Welt, in deren Kopfblickstrahl zuerst ein Objekt überschneidet, was ein Hologramm oder eine reale Oberfläche sein kann.

Für Augenblicke empfehlen wir im Allgemeinen , keinen Cursor anzuzeigen, da dies schnell ablenkend und ärgerlich für den Benutzer werden kann. Heben Sie stattdessen visuelle Ziele hervor oder verwenden Sie einen schwachen Blickcursor, um vertrauen zu können, mit welcher Interaktion der Benutzer interagiert. Weitere Informationen finden Sie in unserem Designleitfaden für augenbasierte Eingaben zu HoloLens 2.

An example visual cursor to show gaze
Abbildung: Ein Beispiel für visuelle Cursor zum Anzeigen des Blicks



Commit

Nachdem wir über verschiedene Möglichkeiten zum Betrachten eines Ziels gesprochen haben, sprechen wir etwas mehr über den Committeil in Blick und Commit. Nach dem Ziel eines Objekts oder UI-Elements kann der Benutzer mithilfe einer sekundären Eingabe interagieren oder darauf klicken. Dies wird als Bestätigungsschritt (Commit) des Eingabemodells bezeichnet.

Die folgenden Methoden zum Ausführen werden unterstützt:

  • Luftkippbewegung (d. b. Heben Sie Ihre Hand vor Ihnen an und bringen Sie Ihren Indexfinger und Daumen zusammen)
  • Sagen Sie "Auswählen" oder einen der Zielstimmebefehle.
  • Drücken einer einzelnen Schaltfläche auf einem HoloLens Clicker
  • Drücken Sie die Schaltfläche "A" auf einem Xbox-Gamepad
  • Drücken Sie die Schaltfläche "A" auf einem xbox adaptiven Controller

Blick und Luft tippen Geste

„In die Luft tippen“ ist eine Tippbewegung mit aufrecht gehaltener Hand Um einen Luftkipp zu verwenden, heben Sie den Indexfinger auf die bereite Position, und drücken Sie dann mit dem Daumen, und heben Sie den Indexfinger wieder auf, um sie freizugeben. Bei HoloLens (1. Generation) ist luftverknippen die am häufigsten verwendete sekundäre Eingabe.

Finger in the ready position
Finger in der bereiten Position

Press finger down to tap or click
Drücken Sie den Finger nach unten, um zu tippen oder zu klicken

Luft tippen ist auch auf HoloLens 2 verfügbar. Es wurde von der ursprünglichen Version entspannt. Fast alle Arten von Heften werden jetzt unterstützt, solange die Hand aufrecht ist und immer noch hält. Dies erleichtert benutzern das Lernen und Verwenden der Geste. Durch diesen neuen Luftkipp wird die alte durch dieselbe API ersetzt, sodass vorhandene Anwendungen das neue Verhalten automatisch nach der Neukompilierung für HoloLens 2 haben.



Blick- und Sprachbefehl "Auswählen"

Sprachbefehle sind eine der primären Interaktionsmethoden in Mixed Reality. Es bietet einen leistungsstarken freihändigen Mechanismus zum Steuern des Systems. Es gibt verschiedene Arten von Sprachinteraktionsmodellen:

  • Der generische Befehl "Auswählen", der eine Klickeingabe oder einen Commit als sekundäre Eingabe verwendet.
  • Objektbefehle (z. B. "Schließen" oder "Vergrößern") führen eine Aktion als sekundäre Eingabe aus.
  • Globale Befehle (z. B. "Start wechseln") erfordern kein Ziel.
  • Unterhaltungsbenutzerschnittstellen oder Entitäten wie Cortana verfügen über eine KI-Funktion für natürliche Sprache.
  • Benutzerdefinierte Sprachbefehle

Weitere Informationen und eine umfassende Liste der verfügbaren Sprachbefehle und deren Verwendung finden Sie in unseren Sprachbefehlsanleitungen.



Blick und HoloLens Clicker

Der HoloLens Clicker ist das erste Peripheriegerät, das speziell für HoloLens erstellt wurde. Es ist in HoloLens (1. Generation) Development Edition enthalten. Mit dem HoloLens Clicker kann ein Benutzer mit minimaler Handbewegung klicken und als sekundäre Eingabe festlegen. Der HoloLens Clicker verbindet HoloLens (1. Generation) oder HoloLens 2 mit Bluetooth Low Energy (BTLE).

Weitere Informationen und Anweisungen zum Koppeln des Geräts

Bild: HoloLens Clicker

HoloLens Clicker



Blick und Xbox Wireless Controller

Der Xbox Wireless Controller führt eine Klickeingabe als sekundäre Eingabe aus, indem sie die Schaltfläche 'A' verwenden. Das Gerät wird einem Standardsatz von Aktionen zugeordnet, die beim Navigieren und Steuern des Systems helfen. Wenn Sie den Controller anpassen möchten, verwenden Sie die Xbox-Zubehöranwendung, um Ihren Xbox Wireless Controller zu konfigurieren.

So koppeln Sie einen Xbox-Controller mit Ihrem PC

Bild: Xbox Wireless Controller

Xbox Wireless Controller



Blick und Xbox Adaptiver Controller

Das Xbox Adaptive Controller ist ein einheitlicher Hub für Geräte, die mixed Reality leichter zugänglich machen.

Der Xbox Adaptive Controller führt eine Klickeingabe als sekundäre Eingabe mithilfe der Schaltfläche "A" aus. Das Gerät wird einem Standardsatz von Aktionen zugeordnet, die beim Navigieren und Steuern des Systems helfen. Wenn Sie den Controller anpassen möchten, verwenden Sie die Xbox-Zubehöranwendung, um Ihren Xbox Adaptive Controller zu konfigurieren.

Xbox Adaptive Controller
Xbox Adaptive Controller

Verbinden externe Geräte wie Schalter, Schaltflächen, Montageen und Joysticks zum Erstellen einer benutzerdefinierten Controllererfahrung, die eindeutig Ihre ist. Tasten-, Daumenstick- und Triggereingaben werden mit Hilfsgeräten gesteuert, die über 3,5-mm-Buchsen und USB-Ports verbunden sind.

Xbox Adaptive Controller ports
Xbox Adaptive Controller-Anschlüsse

Anweisungen zum Koppeln des Geräts

Weitere Informationen, die auf der Xbox-Website verfügbar sind



Zusammengesetzte Gesten

In die Luft tippen

Die Luft tippen geste (und die anderen Gesten unten) reagiert nur auf einen bestimmten Tippen. Um andere Tippen zu erkennen, z. B. Menü oder Greif, muss Ihre Anwendung die unten beschriebenen Interaktionen direkt in den beiden Hauptkomponentengesten verwenden.

Tippen und halten Sie

„Halten“ bedeutet einfach, die Position mit dem Finger nach unten beim „In die Luft tippen“ beizubehalten. Die Kombination aus Luft tippen und halten ermöglicht verschiedene komplexere "Klick- und Ziehen"-Interaktionen, wenn sie mit Armbewegung kombiniert werden, z. B. das Aufnehmen eines Objekts anstelle der Aktivierung oder der Aktivierung sekundärer Interaktionen wie das Anzeigen eines Kontextmenüs. Vorsicht sollte beim Entwerfen für diese Geste verwendet werden, da Benutzer bei jeder erweiterten Geste anfällig für die Entspannung ihrer Handhaltungen sein können.

Manipulation

Manipulationsgesten können verwendet werden, um die Größe des Hologramms zu verschieben, zu ändern oder zu drehen, wenn das Hologramm 1:1 auf die Handbewegungen des Benutzers reagiert. Eine Verwendungsmöglichkeit für solche 1:1-Bewegungen ist es, den Benutzer in der Umgebung zeichnen oder malen zu lassen. Die anfängliche Zielbestimmung für eine Manipulationsgeste sollte durch Anvisieren oder Zeigen erfolgen. Sobald das Tippen und Halten gestartet wird, wird jede Objektbearbeitung durch Handbewegungen behandelt, die den Benutzer freigibt, während sie bearbeiten.

Navigationsgesten funktionieren wie ein virtueller Joystick und können zur Navigation in Widgets der Benutzeroberfläche, z. B. Radialmenüs, verwendet werden. Sie tippen und halten, um die Geste zu starten, und bewegen dann Ihre Hand in einem normalisierten 3D-Würfel, der um die erste Betätigung herum angeordnet ist. Sie können Ihre Hand entlang der X-, Y- oder Z-Achse von einem Wert von -1 bis 1 verschieben, wobei 0 der Ausgangspunkt ist. Mithilfe der Navigation können geschwindigkeitsbasierte kontinuierliche Gesten zum Scrollen oder Zoomen erstellt werden, ähnlich dem Scrollen bei einer 2D-Benutzeroberfläche durch Klicken mit der mittleren Maustaste und anschließendes Bewegen der Maus nach oben und unten.

Die Navigation mit Schienen bezieht sich auf die Fähigkeit, Bewegungen in bestimmten Achsen zu erkennen, bis ein bestimmter Schwellenwert auf dieser Achse erreicht wird. Dies ist nur nützlich, wenn die Bewegung in mehr als einer Achse in einer Anwendung vom Entwickler aktiviert ist, z. B. wenn eine Anwendung so konfiguriert ist, dass Navigationsgesten über X, Y-Achse, sondern auch X-Achse mit Schienen erkannt werden. In diesem Fall erkennt das System Handbewegungen auf der X-Achse, solange sie in einer imaginären Schienen (Führungslinie) auf der X-Achse verbleiben, wenn auch die Handbewegung auf der Y-Achse auftritt.

Innerhalb von 2D-Apps können Benutzer mit vertikalen Navigationsgesten innerhalb der App scrollen, zoomen oder ziehen. Dadurch werden virtuelle Fingerberührungen in der App eingeführt, um Gesten für die Toucheingabe desselben Typs zu simulieren. Benutzer können auswählen, welche dieser Aktionen ausgeführt werden, indem Sie zwischen den Tools auf der Leiste oberhalb der Anwendung wechseln, entweder indem Sie die Schaltfläche auswählen oder "<Scroll/Ziehen/Zoomtool> " sagen.

Weitere Informationen zu zusammengesetzten Gesten

Gestenerkennung

Ein Vorteil bei der Verwendung der Gestenerkennung ist, dass Sie nur für die gestenbezogenen Gesten eine Gestenerkennung konfigurieren können, die derzeit zielorientiertes Hologramm akzeptieren kann. Die Plattform unterscheidet nur diese bestimmten unterstützten Gesten. Auf diese Weise kann ein Hologramm, das nur Luft tippen unterstützt, eine beliebige Dauer zwischen Presse und Veröffentlichung akzeptieren, während ein Hologramm, das sowohl tippen als auch halten unterstützt, die Tippen auf einen Haltepunkt nach dem Haltezeitschwellenwert fördern kann.

Handerkennung

HoloLens erkennt Handgesten, indem die Position einer oder beider Hände, die für das Gerät sichtbar sind, verfolgt wird. HoloLens erkennt Hände, wenn sie sich entweder im Bereitschaftszustand (Handrücken mit nach oben gerichtetem Zeigefinger zu Ihnen gewandt) oder im gedrückten Zustand (Handrücken mit nach unten gerichtetem Zeigefinger zu Ihnen gewandt) befinden. Wenn sich die Hände in anderen Posen befinden, ignoriert HoloLens sie. Für jede Hand, die HoloLens erkennt, können Sie auf seine Position ohne Ausrichtung und den gedrückten Zustand zugreifen. Wenn sich die Hand dem Rand des Gestenrahmens nähert, erhalten Sie auch einen Richtungsvektor, den Sie dem Benutzer zeigen können, damit er weiß, wie er seine Hand bewegen muss, um sie dorthin zurückzubringen, wo sie von HoloLens erkannt werden kann.

Gestenrahmen

Für Gesten auf HoloLens muss sich die Hand innerhalb eines Gestenrahmens befinden, in einem Bereich, in dem die Gestenerkennungskameras angemessen sehen können, von Nase bis Waist und zwischen den Schultern. Benutzer müssen auf diesem Bereich der Anerkennung sowohl für den Erfolg der Aktion als auch für ihren eigenen Komfort geschult werden. Viele Benutzer gehen zunächst davon aus, dass sich der Gestenrahmen in ihrer Sicht befinden muss, indem HoloLens, und halten Sie ihre Arme unbequem, um zu interagieren. Wenn Sie den HoloLens Clicker verwenden, ist es nicht erforderlich, dass sich die Hände innerhalb des Gestenrahmens befinden.

Bei kontinuierlichen Gesten gibt es insbesondere ein gewisses Risiko, dass Benutzer ihre Hände außerhalb des Gestenrahmens bewegen, während sie in mittlerer Geste beim Verschieben eines holografischen Objekts, z. B. und verloren gehen, ihre beabsichtigten Ergebnisse verlieren.

Sie sollten die folgenden drei Aspekte berücksichtigen:

  • Benutzerschulung auf die Existenz und ungefähre Grenzen des Gestenrahmens. Dies wird während HoloLens Einrichtung unterrichtet.

  • Informieren Sie Benutzer, wenn ihre Gesten sich in der Nähe befinden oder die Gestenrahmengrenzen innerhalb einer Anwendung auf den Grad aufteilen, in dem eine verlorene Geste zu unerwendigen Ergebnissen führt. Forschung hat die wichtigsten Qualitäten eines solchen Benachrichtigungssystems gezeigt. Die HoloLens-Shell bietet ein gutes Beispiel für diesen Typ von Benachrichtigungs-visual, auf dem zentralen Cursor, der die Richtung angibt, in der Grenzübergänge stattfinden.

  • Die Folgen des Überschreitens der Begrenzungen des Gestenrahmens sollten minimiert werden. Im Allgemeinen bedeutet dies, dass das Ergebnis einer Geste an der Grenze beendet und nicht umgekehrt werden sollte. Wenn ein Benutzer beispielsweise ein holografisches Objekt über einen Raum bewegt, sollte die Bewegung beendet werden, wenn der Gestenrahmen verletzt wird und nicht zum Ausgangspunkt zurückgegeben wird. Der Benutzer kann einige Frustrationen haben, aber möglicherweise schneller die Grenzen verstehen und nicht jedes Mal seine vollständig vorgesehenen Aktionen neu starten müssen.

Siehe auch