Übersicht über Augenverfolgungsbeispiele — MRTK2

In diesem Thema wird beschrieben, wie Sie schnell mit Eye Tracking in MRTK beginnen können, indem Sie auf MRTK-Augenverfolgungsbeispielen (Assets/MRTK/Examples/Demos/EyeTracking) aufbauen. Mit diesen Beispielen können Sie eine unserer neuen magischen Eingabefunktionen erleben: Eye Tracking! Die Demo enthält verschiedene Anwendungsfälle, von impliziten augenbasierten Aktivierungen bis hin zur nahtlosen Kombination von Informationen über das, was Sie mit Sprach - und Handeingaben betrachten. Auf diese Weise können Benutzer holografische Inhalte schnell und mühelos in ihrer Ansicht auswählen und verschieben, indem Sie einfach ein Ziel betrachten und "Auswählen" sagen oder eine Handbewegung ausführen. Die Demos enthalten auch ein Beispiel für einen blickgesteuerten Bildlauf, Schwenken und Zoomen von Text und Bildern auf einem Schiefer. Schließlich wird ein Beispiel für die Aufzeichnung und Visualisierung der visuellen Aufmerksamkeit des Benutzers auf einem 2D-Slate bereitgestellt. Im folgenden Abschnitt finden Sie weitere Details dazu, was jede der verschiedenen Beispiele im MRTK Eye Tracking-Beispielpaket (Assets/MRTK/Examples/Demos/EyeTracking) umfasst:

List of eye tracking scenes

Der folgende Abschnitt enthält einen schnellen Überblick darüber, was die einzelnen Eye Tracking-Demoszenen sind. Die MRTK Eye Tracking Demo-Szenen werden additiv geladen, die wir unten erläutern, wie sie eingerichtet werden.

Übersicht über die Eye Tracking Demobeispiele

Eye-Supported Target Selection

Dieses Lernprogramm zeigt die Leichtigkeit des Zugriffs auf Augenblickdaten, um Ziele auszuwählen. Es enthält ein Beispiel für subtiles, aber leistungsstarkes Feedback, um dem Benutzer das Vertrauen zu geben, dass ein Ziel fokussiert ist, ohne überwältigend zu sein. Darüber hinaus gibt es ein einfaches Beispiel für intelligente Benachrichtigungen, die nach dem Lesen automatisch ausgeblendet werden.

Zusammenfassung: Schnelle und mühelose Zielauswahl mit einer Kombination aus Augen, Stimme und Handeingabe.

Eye-Supported Navigation

Imagine, dass Sie einige Informationen über eine entfernte Anzeige oder Ihren E-Reader lesen und wenn Sie das Ende des angezeigten Texts erreichen, scrollt der Text automatisch nach oben, um weitere Inhalte anzuzeigen. Oder wie geht es mit dem magischen Zoomen direkt zu der Stelle, an der Sie sich ansehen? Dies sind einige der Beispiele, die in diesem Lernprogramm in Bezug auf die augengestützte Navigation gezeigt werden. Darüber hinaus gibt es ein Beispiel für die freihändige Drehung von 3D-Hologrammen, indem sie basierend auf Ihrem aktuellen Fokus automatisch gedreht werden.

Zusammenfassung: Scrollen, Schwenken, Zoomen, 3D-Drehung mit einer Kombination aus Augen, Stimme und Handeingabe.

Augengestützte Positionierung

In diesem Lernprogramm wird ein Eingabeszenario namens Put-That-There gezeigt, das auf forschungen von der MIT Media Lab anfang 1980 mit Augen- und Hand- und Spracheingaben zurückgeht. Die Idee ist einfach: Profitieren Sie von Ihren Augen für schnelle Zielauswahl und Positionierung. Sehen Sie sich einfach ein Hologramm an, und sagen Sie", sagen Sie ", schauen Sie sich an, wo Sie es platzieren möchten, und sagen Sie "da!". Um Ihr Hologramm genauer zu positionieren, können Sie zusätzliche Eingaben von Händen, Sprach- oder Controllern verwenden.

Zusammenfassung: Positionieren von Hologrammen mithilfe von Augen, Stimme und Handeingabe (Drag-and-Drop). Augengestützte Schieberegler mit Augen + Händen.

Visualisierung der visuellen Aufmerksamkeit

Daten, die darauf basieren, wo Benutzer suchen, macht ein enorm leistungsfähiges Tool, um die Nutzbarkeit eines Designs zu bewerten und Probleme in effizienten Arbeitsströmen zu identifizieren. In diesem Lernprogramm werden unterschiedliche Eye Tracking-Visualisierungen und die unterschiedliche Anforderungen erläutert. Wir bieten grundlegende Beispiele zum Protokollieren und Laden von Eye Tracking-Daten und Beispielen zum Visualisieren dieser Daten.

Zusammenfassung: Zweidimensionale Aufmerksamkeitskarte (Heats) auf Slates. Aufzeichnen & der Wiedergabe von Eye Tracking-Daten.

Einrichten der MRTK-Augenverfolgungsbeispiele

Voraussetzungen

Beachten Sie, dass die Verwendung der Eye Tracking-Beispiele auf dem Gerät ein HoloLens 2 und ein Beispiel-App-Paket erfordert, das mit der Funktion "Gaze Input" im AppXManifest des Pakets erstellt wird.

Um diese Eye Tracking-Beispiele auf dem Gerät zu verwenden, stellen Sie sicher, dass Sie diese Schritte ausführen, bevor Sie die App in Visual Studio erstellen.

1. EyeTrackingDemo-00-RootScene.unity laden

Die EyeTrackingDemo-00-RootScene ist die Basisszene (Stamm), die alle kernigen MRTK-Komponenten enthält. Dies ist die Szene, die Sie zuerst laden müssen und von der Sie die Eye Tracking-Demos ausführen. Es bietet ein grafisches Szenenmenü, mit dem Sie einfach zwischen den verschiedenen Eye Tracking-Beispielen wechseln können, die additiv geladen werden.

Scene menu in eye tracking sample

Die Stammszene enthält einige Kernkomponenten, die über die additiv geladenen Szenen hinweg beibehalten werden, z. B. die MRTK konfigurierten Profile und Szenenkamera. Das MixedRealityBasicSceneSetup (siehe screenshot unten) enthält ein Skript, das die referenzierte Szene automatisch beim Start lädt. Standardmäßig ist dies EyeTrackingDemo-02-TargetSelection.

Example for the OnLoadStartScene script

2. Hinzufügen von Szenen zum Buildmenü

Um additive Szenen während der Laufzeit zu laden, müssen Sie diese Szenen zuerst zu Ihrem Build-Einstellungen –> Szenen im Buildmenü hinzufügen. Es ist wichtig, dass die Stammszene als erste Szene in der Liste angezeigt wird:

Build Settings scene menu for eye tracking samples

3. Wiedergeben der Eye Tracking-Beispiele im Unity-Editor

Nachdem Sie die Eye Tracking-Szenen zum Build-Einstellungen hinzugefügt und das EyeTrackingDemo-00-RootScene geladen haben, gibt es eine letzte Sache, die Sie überprüfen möchten: Ist das Skript "OnLoadStartScene" aktiviert, das an das MixedRealityBasicSceneSetup GameObject angefügt ist? Dies besteht darin, die Stammszene darüber zu informieren, welche Demoszene zuerst geladen werden soll.

Example for the OnLoad_StartScene script

Lassen Sie uns rollen! Treffer "Wiedergeben"! Sie sollten mehrere Edelsteine und das Szenenmenü oben sehen.

Sample screenshot from the ET target select scene

Sie sollten auch einen kleinen halbtransparenten Kreis in der Mitte Ihrer Spielansicht bemerken. Dies fungiert als Indikator (Cursor) Ihres simulierten Augenblicks: Drücken Sie einfach die rechte Maustaste , und bewegen Sie die Maus, um die Position zu ändern. Wenn der Cursor über die Edelsteine zeigt, wird es an der Mitte des aktuell angezeigten Gems angedockt. Dies ist eine hervorragende Möglichkeit, zu testen, ob Ereignisse beim "Betrachten" eines Ziels wie erwartet ausgelöst werden. Beachten Sie, dass der simulierte Augenblick über Maussteuerung eine ziemlich schlechte Ergänzung zu unseren schnellen und unbeabsichtigten Augenbewegungen ist. Es eignet sich jedoch hervorragend zum Testen der grundlegenden Funktionalität, bevor sie auf dem Design durchlaufen wird, indem sie auf dem HoloLens 2 Gerät bereitgestellt wird. Zurück zu unserer Eye Tracking-Beispielszene: Der Edelstein dreht sich so lange, wie es betrachtet wird und kann durch "Betrachten" zerstört werden und ...

  • Drücken der EINGABETASTE (die "Auswählen" simuliert)
  • Sagen "Auswählen" in Ihr Mikrofon
  • Klicken Sie beim Drücken des Leerzeichens , um die simulierte Handeingabe anzuzeigen, klicken Sie auf die linke Maustaste, um eine simulierte Pinch auszuführen.

Wir beschreiben ausführlicher, wie Sie diese Interaktionen in unserem Lernprogramm für die Eye-Supported Target Selection erreichen können.

Wenn Sie den Cursor in die obere Menüleiste in der Szene verschieben, werden Sie feststellen, dass das aktuell gezeigerte Element subtly hervorgehoben wird. Sie können das aktuell hervorgehobene Element auswählen, indem Sie eine der oben beschriebenen Commitmethoden verwenden (z. B. drücken Sie die EINGABETASTE). Auf diese Weise können Sie zwischen den verschiedenen Eye Tracking-Beispielszenen wechseln.

4. Testen bestimmter Unterszenen

Wenn Sie an einem bestimmten Szenario arbeiten, möchten Sie möglicherweise nicht jedes Mal das Szenenmenü durchlaufen. Stattdessen möchten Sie möglicherweise direkt aus der Szene beginnen, an der Sie gerade arbeiten, wenn Sie die Schaltfläche "Wiedergeben " drücken. Kein Problem. Hier erfahren Sie, was Sie tun können:

  1. Laden der Stammszene

  2. Deaktivieren Sie in der Stammszene das Skript "OnLoadStartScene"

  3. Ziehen Sie eine der Augenverfolgungstestszenen, die unten (oder eine andere Szene) in ihre Hierarchieansicht beschrieben werden, wie im folgenden Screenshot dargestellt.

    Example for additive scene

  4. Drücken Sie "Wiedergabe".

Bitte beachten Sie, dass das Laden der Unterszene wie dies nicht beständig ist: Dies bedeutet, dass wenn Sie Ihre App auf dem HoloLens 2 Gerät bereitstellen, nur die Stammszene geladen wird (vorausgesetzt, sie wird oben in Ihrem Build-Einstellungen angezeigt). Wenn Sie Ihr Projekt auch für andere Personen freigeben, werden die Unterszenen nicht automatisch geladen.


Nachdem Sie nun wissen, wie Sie die MRTK-Augenverfolgungs-Beispielszenen für die Arbeit erhalten, lassen Sie uns weiter tiefer in die Auswahl von Hologrammen mit Ihren Augen tauchen: Augengestützte Zielauswahl.


Zurück zu "Eye tracking in the MixedRealityToolkit"