Eyetracking (Blickverfolgung): Beispieleübersicht

In diesem Thema wird beschrieben, wie Sie schnell mit der Eyetracking in MRTK beginnen können, indem Sie auf MRTK-Eyetrackingbeispielen (Assets/MRTK/Examples/Demos/EyeTracking) aufbaut. Mit diesen Beispielen können Sie eine unserer neuen magischen Eingabefunktionen erleben: Eye tracking! Die Demo umfasst verschiedene Anwendungsfälle, die von impliziten Aktivierungen auf Augenbasis bis hin zur nahtlosen Kombination von Informationen über das, was Sie sich ansehen, mit Sprach- und Handeingaben reichen. Dadurch können Benutzer holografische Inhalte schnell und mühelos auswählen und über ihre Ansicht verschieben, indem sie einfach auf ein Ziel schauen und "Auswählen" sagen oder eine Handgeste ausführen. Die Demos enthalten auch ein Beispiel für bildlaufgesteuertes Anvieren mit den Augen, Schwenken und Zoomen von Text und Bildern auf einer Tafel. Schließlich wird ein Beispiel für die Aufzeichnung und Visualisierung der visuellen Aufmerksamkeit des Benutzers in einer 2D-Tafel bereitgestellt. Im folgenden Abschnitt finden Sie weitere Details zu den einzelnen Beispielen im MRTK-Beispielpaket für die Blickverfolgung (Assets/MRTK/Examples/Demos/EyeTracking):

Liste der Eyetracking-Szenen

Der folgende Abschnitt enthält eine kurze Übersicht über die einzelnen Szenen der Eyetracking-Demo. Die MRTK Eye Tracking-Demoszenen werden additivgeladen. Im Folgenden wird die Einrichtung erläutert.

Übersicht über die Beispiele für Eyetrackingdemos

Eye-Supported Target Selection

In diesem Tutorial wird der einfache Zugriff auf Daten zum Anvieren mit den Augen zum Auswählen von Zielen gezeigt. Es enthält ein Beispiel für ein subtiles, aber leistungsstarkes Feedback, um dem Benutzer die Sicherheit zu geben, dass ein Ziel fokussiert ist, ohne zu überfordern. Darüber hinaus gibt es ein einfaches Beispiel für intelligente Benachrichtigungen, die nach dem Lesen automatisch nicht mehr angezeigt werden.

Zusammenfassung: Schnelle und mühelose Zielauswahl mit einer Kombination aus Augen, Stimme und Handeingabe.

Eye-Supported Navigation

Imagine, dass Sie einige Informationen auf einer entfernten Anzeige oder ihrem E-Reader lesen und wenn Sie das Ende des angezeigten Texts erreichen, scrollt der Text automatisch nach oben, um weitere Inhalte anzuzeigen. Oder wie sieht es aus, direkt auf den Ort zu zoomen, an dem Sie sich das zielten? Dies sind einige der Beispiele, die in diesem Tutorial zur brillengestützten Navigation gezeigt werden. Darüber hinaus gibt es ein Beispiel für die freihnde Drehung von 3D-Hologrammen, indem sie basierend auf Ihrem aktuellen Fokus automatisch gedreht werden.

Zusammenfassung: Scrollen, Schwenken, Zoomen, 3D-Drehung mit einer Kombination aus Augen, Stimme und Handeingabe.

Eye-Supported Positioning

In diesem Tutorial wird ein Eingabeszenario mit dem Namen Put-That-There gezeigt, das sich anfang der 1980er Jahre mit Blick-, Hand- und Stimmeingaben im MIT Media Lab recherchierte. Die Idee ist einfach: Profitieren Sie von Ihren Augen für eine schnelle Zielauswahl und Positionierung. Sehen Sie sich einfach ein Hologramm an, und sagen Sie "put this", sehen Sie sich an, wo Sie es platzieren möchten, und sagen Sie "there!". Um Ihr Hologramm genauer zu positionieren, können Sie zusätzliche Eingaben von Ihren Händen, Stimmen oder Controllern verwenden.

Summary: Positioning holograms using eyes, voice and hand input (drag-and-drop). Schieberegler mit Augen und Händen, die von den Augen unterstützt werden.

Visualisierung der visuellen Aufmerksamkeit

Daten, die darauf basieren, wo Benutzer aussehen, sind ein äußerst leistungsstarkes Tool, um die Verwendbarkeit eines Entwurfs zu bewerten und Probleme in effizienten Arbeitsströmen zu identifizieren. In diesem Tutorial werden verschiedene Eyetrackingvisualisierungen und deren Anpassung an verschiedene Anforderungen erläutert. Wir stellen grundlegende Beispiele für die Protokollierung und das Laden von Eyetrackingdaten sowie Beispiele für deren Visualisierung zur Verfügung.

Zusammenfassung: Zweidimensionale Aufmerksamkeitskarte (Wärmekarten) auf Tafeln. Aufzeichnen & Wiedervergennung von Eyetrackingdaten.

Einrichten der MRTK-Eyetrackingbeispiele

Voraussetzungen

Beachten Sie, dass für die Verwendung der Eyetrackingbeispiele auf dem Gerät ein HoloLens 2 und ein Beispiel-App-Paket erforderlich sind, das mit der Funktion "Eingabe anvizieren" im AppXManifest des Pakets erstellt wurde.

Um diese Eye tracking-Beispiele auf dem Gerät zu verwenden, führen Sie diese Schritte aus, bevor Sie die App in Visual Studio.

1. Laden von EyeTrackingDemo-00-RootScene.unity

EyeTrackingDemo-00-RootScene ist die Basisszene (Stamm) mit allen MRTK-Kernkomponenten. Dies ist die Szene, die Sie zuerst laden müssen und aus der Sie die Eyetracking-Demos ausführen. Es verfügt über ein grafisches Szenenmenü, mit dem Sie problemlos zwischen den verschiedenen Eyetrackingbeispielen wechseln können, die additiv geladen werden.

Szenenmenü im Eyetrackingbeispiel

Die Stammszene enthält einige Kernkomponenten, die über die additiv geladenen Szenen hinweg beibehalten werden, z. B. die vom MRTK konfigurierten Profile und die Szenenkamera. MixedRealityBasicSceneSetup (siehe Screenshot unten) enthält ein Skript, mit dem die referenzierte Szene beim Start automatisch geladen wird. Standardmäßig ist dies EyeTrackingDemo-02-TargetSelection.

Beispiel für das OnLoadStartScene-Skript

2. Hinzufügen von Szenen zum Buildmenü

Um additive Szenen während der Laufzeit zu laden, müssen Sie diese Szenen zuerst dem Menü Build Einstellungen -> Scenes in Build hinzufügen. Es ist wichtig, dass die Stammszene als erste Szene in der Liste angezeigt wird:

Erstellen Einstellungen Szenenmenüs für Eyetrackingbeispiele

3. Wiedergabe der Eyetrackingbeispiele im Unity-Editor

Nachdem Sie dem Build-Einstellungen die EyeTracking-Szenen hinzugefügt und eyeTrackingDemo-00-RootScene geladen haben, sollten Sie noch einen letzten Punkt überprüfen: Ist das Skript "OnLoadStartScene", das an das MixedRealityBasicSceneSetup-GameObject angefügt ist, aktiviert? Dies soll die Stammszene darüber informieren, welche Demoszene zuerst geladen werden soll.

Beispiel für das OnLoad_StartScene Skript

Jetzt rollen wir! Treffer "Play"! Es sollten mehrere Gems und das Szenenmenü oben angezeigt werden.

Beispiel screenshot from the ET target select scene (Beispielabbildung aus der Auswahlszene des ET-Ziels)

Sie sollten auch einen kleinen halbtransparenten Kreis in der Mitte der Spielansicht bemerken. Dies fungiert als Indikator (Cursor) Ihres simulierten Anvistiks mit den Augen: Drücken Sie einfach die rechte Maustaste, und bewegen Sie die Maus, um ihre Position zu ändern. Wenn der Cursor auf die Gems zeigt, werden Sie feststellen, dass er an der Mitte des aktuell angezeigten Gems andockt. Dies ist eine hervorragende Möglichkeit, um zu testen, ob Ereignisse wie erwartet ausgelöst werden, wenn ein Ziel "betrachtet" wird. Beachten Sie, dass das simulierte Anvieren mit den Augen über die Maussteuerung eine eher schlechte Ergänzung unserer schnellen und unbeabsichtigten Augenbewegungen ist. Sie ist jedoch ideal, um die grundlegende Funktionalität zu testen, bevor Sie den Entwurf durch Bereitstellen auf dem HoloLens 2 iterieren. Zurück zur Eyetracking-Beispielszene: Das Gem dreht sich, solange es betrachtet wird, und kann zerstört werden, indem es "betrachtet" und ...

  • Drücken der EINGABETASTE (wodurch das "Auswählen" simuliert wird)
  • "Select" (Auswählen) in Ihr Mikrofon
  • Klicken Sie beim Drücken des Leerzeichens zum Anzeigen der simulierten Handeingabe auf die linke Maustaste, um eine simulierte Stecknadel durchzuführen.

Ausführlichere Informationen dazu, wie Sie diese Interaktionen erreichen können, finden Sie in unserem Tutorial zur Zielauswahl mit Blickgestützter Unterstützung.

Wenn Sie den Cursor auf die obere Menüleiste in der Szene bewegen, werden Sie feststellen, dass das element, auf das gerade mit dem Mauszeiger gezeigert wird, subtly hervorhebt. Sie können das derzeit hervorgehobene Element mithilfe einer der oben beschriebenen Commitmethoden auswählen (z. B. durch Drücken der EINGABETASTE). Auf diese Weise können Sie zwischen den verschiedenen Eyetracking-Beispielszenen wechseln.

4. Testen bestimmter Unterszenen

Wenn Sie an einem bestimmten Szenario arbeiten, sollten Sie nicht jedes Mal das Szenenmenü durchgehen. Stattdessen sollten Sie direkt mit der Szene beginnen, an der Sie gerade arbeiten, wenn Sie auf die Wiedergabeschaltfläche klicken. Kein Problem. Sie haben dies:

  1. Laden der Stammszene

  2. Deaktivieren Sie in der Stammszene das Skript "OnLoadStartScene".

  3. Drag and drop one of the eye tracking test scenes that are described below (or any other scene) into your Hierarchy view as shown in the screenshot below.

    Beispiel für additive Szene

  4. Wiedergabe drücken

Beachten Sie, dass das Laden der Untergeordneten Szene wie diese nicht persistent ist: Wenn Sie Ihre App auf dem HoloLens 2-Gerät bereitstellen, wird nur die Stammszene geladen (vorausgesetzt, sie wird am oberen Ende Ihrer Build-Einstellungen). Wenn Sie Ihr Projekt für andere freigeben, werden die Unterszenen auch nicht automatisch geladen.


Nachdem Sie nun wissen, wie Sie die MRTK-Eyetracking-Beispielszenen verwenden können, gehen wir mit der Auswahl von Hologrammen mit Ihren Augen weiter: Von den Augen unterstützte Zielauswahl.


Zurück zu "Eye tracking in the MixedRealityToolkit"