Blickverfolgung auf HoloLens 2

Feature HoloLens (1. Generation) HoloLens 2 Immersive Headsets
Anväuten mit den Augen ✔️

Demo der Entwurfskonzepte für Kopf- und Eyetracking

Wenn Sie die Entwurfskonzepte für Kopf- und Eyetracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Entwerfen von Hologrammen: Kopf- und Eyetracking an. Wenn Sie fertig sind, fahren Sie mit einem ausführlicheren Einblick in bestimmte Themen fort.

Dieses Video stammt aus der HoloLens 2-App "Entwerfen Hologramme". Laden Sie die vollständige Benutzeroberfläche hier herunter, und nutzen Sie sie.

Kalibrierung

Damit eye tracking korrekt funktioniert, muss jeder Benutzer eine Eyetracking-Benutzer-Kalibrierung durchlaufen, für die der Benutzer eine Reihe holografischer Ziele betrachten muss. Dadurch kann das Gerät das System anpassen, um eine komfortablere und qualitativ hochwertigere Anzeige für den Benutzer zu gewährleisten und gleichzeitig eine genaue Blickverfolgung sicherzustellen.

Eyetracking sollte für die meisten Benutzer funktionieren, aber es gibt selten Fälle, in denen ein Benutzer nicht erfolgreich kalibrieren kann. Die Kalibrierung kann aus verschiedenen Gründen fehlschlagen, einschließlich, aber nicht beschränkt auf:

  • Der Benutzer hat sich zuvor von dem Kalibrierungsvorgang abgemeldet
  • Der Benutzer wurde ablenkend und hat die Kalibrierungsziele nicht befolgt.
  • Der Benutzer verfügt über bestimmte Arten von Kontaktobjektiven und Brillen, die das System noch nicht unterstützt.
  • Der Benutzer hat bestimmte Augen- oder Augenbedingungen oder hatte Augenaussichten, die das System noch nicht unterstützt.
  • Externe Faktoren, die eine zuverlässige Blickverfolgung verhindern, z. B. Wischschatten auf dem HoloLens oder Brillen, intensive direkte Brillen und Verdeckungen aufgrund von Härchen vor den Augen

Entwickler sollten sicherstellen, dass sie eine angemessene Unterstützung für Benutzer bereitstellen, für die eye tracking-Daten möglicherweise nicht verfügbar sind (die nicht in der Lage sind, erfolgreich zu kalibrieren). Im Abschnitt am unteren Rand dieser Seite haben wir Empfehlungen für Fallbacklösungen bereitgestellt.

Weitere Informationen zur Kalibrierung und zur Sicherstellung eines reibungslosen Ablaufs finden Sie auf unserer Seite zur Kalibrierung von Eyetrackingbenutzern.


Verfügbare Eyetrackingdaten

Bevor wir uns mit bestimmten Anwendungsfällen für die Eingabe des Anverfolgens mit den Augen nähern, möchten wir kurz auf die Funktionen hinweisen, die die HoloLens 2 Eye Tracking-API bietet. Entwickler erhalten Bei ca. 30 FPS (30 Hz)Zugriff auf einen einzelnen Anviert-Strahl mit den Augen (Ursprung und Richtung des Anvierens). Ausführlichere Informationen zum Zugriff auf Eyetrackingdaten finden Sie in unseren Entwicklerhandbüchern zum Verwenden des Anvierens mit den Augen in DirectX und zum Anvieren mit den Augen in Unity.

Das vorhergesagte Anvieren mit den Augen liegt ungefähr innerhalb von 1,5 Grad im visuellen Winkel um das tatsächliche Ziel (siehe abbildung unten). Da geringfügige Ungenauigkeiten erwartet werden, sollten Entwickler einen Gewissensrand um diesen unteren Grenzwert planen (z.B. können 2,0 bis 3,0 Grad zu einer viel komfortableren Erfahrung führen). Im Folgenden erfahren Sie, wie Sie die Auswahl kleiner Ziele genauer behandeln. Damit die Blickverfolgung exakt funktioniert, muss jeder Benutzer eine Benutzerkalibrierung für seine Blickverfolgung durchlaufen.

Optimale Zielgröße bei einer Entfernung von 2 Metern
Optimale Zielgröße in einer Entfernung von 2 Metern


Anwendungsfälle

Mit der Blickverfolgung können Anwendungen in Echtzeit verfolgen, wohin der Benutzer schaut. In den folgenden Anwendungsfällen werden einige Interaktionen beschrieben, die mit eye tracking auf HoloLens 2 in Mixed Reality möglich sind. Diese Anwendungsfälle sind noch nicht Teil der Holographic Shell-Benutzeroberfläche (d. b. die Schnittstelle, die beim Starten Ihrer HoloLens 2 angezeigt wird). Sie können einige davon im Mixed Reality Toolkitausprobieren, das mehrere interessante und leistungsstarke Beispiele für die Verwendung von Eyetracking bietet, z. B. schnelle und mühelose, von den Augen unterstützte Zielauswahlen und das automatische Scrollen durch Text basierend auf dem, was der Benutzer betrachtet.

Benutzerabsicht

Informationen dazu, wo und was ein Benutzer ansieht, bieten einen leistungsfähigen Kontext für andere Eingaben,z. B. Sprache, Hände und Controller. Dies kann für verschiedene Aufgaben verwendet werden. Dies kann z. B. von der schnellen und mühelosen Ausrichtung auf die gesamte Szene reichen, indem ein Hologramm betrachtet und "Select" (siehe auch Anvisieren und Committen)oder "Put this..."angezeigt wird. Anschließend wird nach dem Ort gesucht, an dem der Benutzer das Hologramm platzieren und "... there" . Beispiele hierfür finden Sie in den Artikeln Mixed Reality Toolkit – Eye-supported Target Selection (Mixed Reality-Toolkit – Blickgestützte Zielauswahl) und Mixed Reality Toolkit – Eye-supported Target Positioning (Mixed Reality-Toolkit – Blickgestützte Zielpositionierung).

Darüber hinaus kann ein Beispiel für eine Benutzerabsicht die Verwendung von Informationen darüber umfassen, was Benutzer betrachten, um die Interaktion mit verkörperten virtuellen Agents und interaktiven Hologrammen zu verbessern. Beispielsweise können virtuelle Agents verfügbare Optionen und ihr Verhalten basierend auf dem aktuell angezeigten Inhalt anpassen.

Implizite Aktionen

Die Kategorie der impliziten Aktionen steht in enger Beziehung zur Benutzerabsicht. Die Idee ist, dass Hologramme oder Benutzeroberflächenelemente auf instinktive Weise reagieren, die möglicherweise nicht einmal das Gefühl hat, als interagiere der Benutzer mit dem System, sondern dass das System und der Benutzer synchron sind. Ein Beispiel hierfür ist das automatische Scrollen mit den Augen, bei dem der Benutzer einen langen Text lesen kann, der automatisch mit dem Scrollen beginnt, sobald der Benutzer zum Ende des Textfelds gelangt, um den Benutzer im Lesefluss zu halten, ohne einen Finger zu heben.
Ein wichtiger Aspekt ist, dass sich die Bildlaufgeschwindigkeit an die Lesegeschwindigkeit des Benutzers anpasst. Ein weiteres Beispiel ist das mit den Augen unterstützte Zoomen und Schwenken, bei dem der Benutzer das Gefühl hat, genau auf das zu springen, worauf er sich konzentriert. Das Auslösen und Steuern der Zoomgeschwindigkeit kann durch Spracheingaben oder Handeingaben gesteuert werden. Dies ist wichtig, um dem Benutzer das Gefühl der Kontrolle zu geben und gleichzeitig eine Überlastung zu vermeiden. Im Folgenden werden diese Entwurfsüberlegungen ausführlicher erläutert. Nach dem Vergrößern kann der Benutzer problemlos dem Lauf einer Straße folgen, um seine Umgebung mithilfe des Anvierens mit den Augen zu erkunden. Demobeispiele für diese Arten von Interaktion finden Sie im Beispiel Mixed Reality Toolkit – Eye-supported Navigation (Mixed Reality-Toolkit – Blickgestützte Navigation).

Andere Anwendungsfälle für implizite Aktionen können Folgendes umfassen:

  • Intelligente Benachrichtigungen: Haben Sie sich jemals darüber geärgert, dass Benachrichtigungen genau dort angezeigt werden, wo Sie suchen? Unter Berücksichtigung der Aufmerksamkeit, auf die ein Benutzer achten muss, können Sie diese Erfahrung verbessern, indem Sie Benachrichtigungen von dem Ort abstellen, an dem der Benutzer gerade arbeitet. Dies schränkt Ablenkungen ein und schließt sie automatisch, sobald der Benutzer das Lesen abgeschlossen hat.
  • Hologramme: Hologramme, die beim Anvieren unaufdinglich reagieren. Dies kann von leicht leuchtenden UI-Elementen, einer langsamen Blume bis hin zu einem virtuellen Hund reichen, der mit dem Blick auf den Benutzer beginnt und sein Ende wackelt. Diese Interaktion kann ein interessantes Gefühl für Konnektivität und Zufriedenheit in Ihrer Anwendung bieten.

Aufmerksamkeitsverfolgung

Informationen dazu, wo oder was Benutzer betrachten, können ein äußerst leistungsfähiges Tool sein. Sie kann dabei helfen, die Nutzbarkeit von Entwürfen zu bewerten und Probleme in Workflows zu identifizieren, um sie effizienter zu gestalten. Eyetrackingvisualisierung und -analyse sind eine gängige Praxis in verschiedenen Anwendungsbereiche. Mit HoloLens 2 bieten wir diesem Verständnis eine neue Dimension, da 3D-Hologramme in realen Kontexten platziert und entsprechend bewertet werden können. Das Mixed Reality Toolkit enthält grundlegende Beispiele für das Protokollieren und Laden von Eyetrackingdaten und deren Visualisierung. Microsoft ist bestrebt, Innovationen zu fördern und gleichzeitig sicherzustellen, dass Benutzer über eine informierte und transparente Erfahrung mit der Verwendung ihrer Eyetrackinginformationen verfügen. Wir arbeiten mit unseren Entwicklern und UX-Teams zusammen, um Drittanbieter zu unterstützen, um sicherzustellen, dass die Benutzeroberflächen im Mittelpunkt stehen.

Zu diesem Bereich zählen möglicherweise auch die folgenden Anwendungen:

  • Visualisierung mit remotem Anvesten mit den Augen: Visualisierungen mit remotem Anvieren mit den Augen: Visualisieren Sie, was Remotemitarbeiter betrachten, um sofortiges Feedback zu geben und eine genauere Informationsverarbeitung zu ermöglichen.
  • Studien zur Benutzerforschung: Die Aufmerksamkeitsnachverfolgung kann Forscher dabei unterstützen, mehr Einblicke in die Wahrnehmung und Interaktion von Benutzern in der natürlichen Umgebung zu erhalten, ohne zu beeinträchtigen, um instinktive Interaktionen zwischen Menschen und Computern zu entwerfen. Eyetracking kann Informationen liefern, die nicht direkt von den Teilnehmern der Studie formuliert werden, die andernfalls vom Forscher leicht übersehen werden können.
  • Trainings- und Leistungsüberwachung: Üben und optimieren Sie die Ausführung von Aufgaben, indem Sie Engpässe im Ausführungsfluss effektiver identifizieren. Eyetracking kann natürliche, Echtzeit- und Zielinformationen bereitstellen, um das Training, die Produktivität und die Sicherheit am Arbeitsplatz zu verbessern.
  • Designauswertungen, Marketing und Verbraucherforschung: Eyetracking ermöglicht kommerziellen Unternehmen, Marketing- und Verbraucherstudien in realen Umgebungen durchzuführen oder zu analysieren, was die Aufmerksamkeit eines Benutzers erfasst, um das Produkt- oder Raumdesign zu verbessern.

Weitere Anwendungsfälle

  • Gaming: Möchten Sie schon immer Superpowers haben? Hier kommt Ihre Chance! Sie können Hologramme zuordnen, indem Sie auf sie starren. Probieren Sie es in RoboRaid für HoloLens 2aus. Wandeln Sie Diensel in Steine um, oder frieren Sie sie ein. Verwenden Sie Ihren Röntgenblick, um Gebäude zu erkunden. Ihrer Phantasie sind keine Grenzen gesetzt! Achten Sie jedoch darauf, den Benutzer nicht zu überfordern. Um mehr zu erfahren, sehen Sie sich unsere Richtlinien zum Entwerfen von Eingaben an, die auf anviertwerden.

  • Ausdrucksstärker Avatar: Eyetracking unterstützt ausdrucksstärkeere 3D-Avatare, indem mithilfe von Live-Blickverfolgungsdaten die Augen des Avatars animiert werden, die angeben, was der Benutzer ansieht.

  • Texteintrag: Eyetracking kann als Alternative für Texteingaben mit geringem Aufwand verwendet werden, insbesondere dann, wenn Sprache oder Hände unpraktisch zu verwenden sind.


Verwenden des Anvierens mit den Augen für die Interaktion

Das Erstellen einer Interaktion, die sich schnell bewegende Blickrichtung nutzt, kann eine Herausforderung darstellen. Auf der einen Seite bewegen sich die Augen so schnell, dass Sie darauf achten müssen, wie Sie die Eingabe zum Anvieren mit den Augen verwenden, da benutzer andernfalls die Erfahrung überwältigend oder ablenkend finden. Auf der anderen Seite können Sie auch wirklich magische Erfahrungen erstellen, die Ihre Benutzer anregen! Um Ihnen zu helfen, sehen Sie sich unsere Übersicht über wichtige Vorteile, Herausforderungen und Entwurfsempfehlungen für die Interaktion mit den Augen an.

Fallbacklösungen, wenn eye tracking nicht verfügbar ist

In seltenen Fällen sind Eyetrackingdaten möglicherweise nicht verfügbar. Dies kann aus verschiedenen Gründen der Fall sein, aus denen die gängigsten unten aufgeführt sind:

  • Das System konnte den Benutzer nicht kalibrieren.
  • Der Benutzer hat die Kalibrierung übersprungen.
  • Der Benutzer ist kalibriert, hat sich aber entschieden, Ihrer App nicht die Berechtigung zu erteilen, ihre Eyetrackingdaten zu verwenden.
  • Der Benutzer verfügt über eine eindeutige Brille oder eine bestimmte Augenbedingung, die das System noch nicht unterstützt.
  • Externe Faktoren, die eine zuverlässige Blickverfolgung verhindern, z. B. Augenschübe am HoloLens-Visor oder Brillen, intensive direkte Brillen und Okklusionen aufgrund von Augen vor den Augen.

Entwickler sollten sicherstellen, dass es entsprechende Fallbackunterstützung für diese Benutzer gibt. Auf der Seite Eye Tracking in DirectX werden die APIs erläutert, die erforderlich sind, um zu erkennen, ob Eyetrackingdaten verfügbar sind.

Einige Benutzer haben sich vielleicht entschieden, den Zugriff auf ihre Eye tracking-Daten zu widerrufen, und sind mit dem Abkiff einer unerschätzten Benutzererfahrung in Ordnung, keinen Zugriff auf ihre Eyetrackingdaten zu bieten. In einigen Fällen kann dies jedoch unbeabsichtigt sein. Wenn Ihre App EyeTracking verwendet und dies ein wichtiger Teil der Benutzeroberfläche ist, empfehlen wir, dies dem Benutzer klar zu vermitteln.

Die freundliche Information des Benutzers, warum Eyetracking für Ihre Anwendung wichtig ist (vielleicht sogar einige erweiterte Features auflisten), um das volle Potenzial Ihrer Anwendung zu nutzen, kann dem Benutzer helfen, besser zu verstehen, was er auf gibt. Helfen Sie dem Benutzer, zu ermitteln, warum eye tracking möglicherweise nicht funktioniert (basierend auf den obigen Überprüfungen), und bieten Sie einige Vorschläge, um potenzielle Probleme schnell zu beheben.

Wenn Sie z. B. erkennen können, dass das System Eyetracking unterstützt, der Benutzer kalibriert wird und sogar seine Berechtigung erteilt hat, aber keine Eyetrackingdaten empfangen werden, kann dies auf einige andere Probleme verweisen, z. B. Auftäusche oder augenverblendete Augen.

Es gibt seltene Fälle von Benutzern, für die eye tracking möglicherweise nicht funktioniert. Denken Sie daran, indem Sie zulassen, erinnerungen zu ver- oder sogar zu deaktivieren, um eye tracking in Ihrer App zu aktivieren.

Fall back for apps using eye-gaze as a primary input pointer

Wenn Ihre App das Anvieren mit den Augen als Zeigereingabe verwendet, um hologramme in der gesamten Szene schnell auszuwählen, die Eyetrackingdaten jedoch nicht verfügbar sind, empfehlen wir, zurück zum Anvieren mit dem Kopf zu fallen und mit dem Zeigen des Cursors mit dem Kopf zu beginnen. Es wird empfohlen, ein Timeout (z. B. 500–1500 ms) zu verwenden, um zu bestimmen, ob sie wechseln möchten. Diese Aktion verhindert, dass Cursor jedes Mal angezeigt werden, wenn das System aufgrund schneller Augenbewegungen oder Winks und Blinken kurzzeitig die Nachverfolgung verliert. Wenn Sie ein Unity-Entwickler sind, wird der automatische Fallback zum Anvischen mit dem Kopf bereits im Mixed Reality Behandelt. Wenn Sie DirectX-Entwickler sind, müssen Sie diesen Schalter selbst behandeln.

Fall back for other eye-tracking-specific applications (Fall back für andere Eye-Tracking-spezifische Anwendungen)

Ihre App kann das Anvingen mit den Augen auf einzigartige Weise verwenden, die speziell auf die Augen zugeschnitten ist. Beispielsweise das Animieren der Augen eines Avatars oder für wärmebildbasierte Blicke, die auf genauen Informationen zur visuellen Aufmerksamkeit basieren. In diesem Fall gibt es keinen eindeutigen Fallback. Wenn eye tracking nicht verfügbar ist, müssen diese Funktionen möglicherweise deaktiviert werden. Auch hier wird empfohlen, dies dem Benutzer klar zu vermitteln, der möglicherweise nicht weiß, dass die Funktion nicht funktioniert.


Auf dieser Seite haben Sie hoffentlich einen guten Überblick erhalten, damit Sie sich mit der Rolle der Eyetracking- und Eye-Gaze-Eingabe für HoloLens 2. Um mit der Entwicklung zu beginnen, sehen Sie sich unsere Informationen zur Rolle des Anvierens mit den Augen für die Interaktion mit Hologrammen, dem Anvieren mit den Augen in Unity und dem Anvieren mit den Augen in DirectX an.

Weitere Informationen

Eyetracking-Demo in MRTK

HoloLens 2 ermöglicht ein neues Maß an Kontext und menschlichem Verständnis innerhalb der holografischen Benutzeroberfläche, indem Entwicklern die Möglichkeit zur Verfügung steht, Informationen dazu zu verwenden, was der Benutzer betrachtet. Auf dieser Seite wird erläutert, wie Entwickler von der Eyetracking für verschiedene Anwendungsfälle profitieren können und worauf sie beim Entwerfen von Benutzerinteraktionen mit blickbasiertem Anving achten sollten.

Die Eyetracking-API wurde mit Blick auf den Datenschutz eines Benutzers entwickelt und vermeidet die Übergabe identifizierbarer Informationen, insbesondere biometrischer Daten. Für Eyetracking-fähige Anwendungen muss der Benutzer der App die Berechtigung zum Verwenden von Eyetrackinginformationen erteilen.

Geräteunterstützung