Vue d’ensemble des exemples de suivi oculaire — MRTK2

Cette rubrique explique comment démarrer rapidement avec le suivi oculaire dans MRTK en s’appuyant sur des exemples de suivi oculaire MRTK (Assets/MRTK/Examples/Demos/EyeTracking). Ces exemples vous permettent d’expérimenter l’une de nos nouvelles fonctionnalités d’entrée magiques : suivi oculaire ! La démonstration comprend différents cas d’usage, allant des activations implicites basées sur les yeux à la façon de combiner en toute transparence des informations sur ce que vous examinez avec les entrées vocales et manuelles . Cela permet aux utilisateurs de sélectionner et déplacer rapidement et sans effort du contenu holographique dans leur affichage simplement en examinant une cible et en disant « Sélectionner » ou en effectuant un mouvement de main. Les démonstrations incluent également un exemple de défilement dirigé vers l’œil, panoramique et zoom de texte et d’images sur une ardoise. Enfin, un exemple est fourni pour l’enregistrement et la visualisation de l’attention visuelle de l’utilisateur sur une ardoise 2D. Dans la section suivante, vous trouverez plus d’informations sur les différents exemples du package d’exemple de suivi oculaire MRTK (Assets/MRTK/Examples/Demos/EyeTracking) :

List of eye tracking scenes

La section suivante est une vue d’ensemble rapide de ce que sont les différentes scènes de démonstration de suivi oculaire. Les scènes de démonstration de suivi oculaire MRTK sont chargées de manière additive, que nous expliquerons ci-dessous comment configurer.

Vue d’ensemble des exemples de démonstration de suivi oculaire

Sélection de la cible prise en charge par l’œil

Ce didacticiel présente la facilité d’accès aux données de regard pour sélectionner des cibles. Il inclut un exemple de commentaires subtils mais puissants pour fournir à l’utilisateur la confiance qu’une cible est axée sans être écrasante. En outre, il existe un exemple simple de notifications intelligentes qui disparaissent automatiquement après lecture.

Résumé : Sélections cibles rapides et faciles à l’aide d’une combinaison d’yeux, de voix et d’entrée manuelle.

Navigation prise en charge par les yeux

Imagine que vous lisez des informations sur un affichage distant ou votre lecteur électronique et lorsque vous atteignez la fin du texte affiché, le texte défile automatiquement jusqu’à afficher plus de contenu. Ou comment effectuer un zoom magique directement vers l’endroit où vous regardiez ? Voici quelques-uns des exemples présentés dans ce didacticiel concernant la navigation prise en charge par les yeux. En outre, il existe un exemple de rotation mains libres des hologrammes 3D en les faisant pivoter automatiquement en fonction de votre focus actuel.

Résumé : Défilement, panoramique, zoom, rotation 3D à l’aide d’une combinaison d’yeux, de voix et d’entrée manuelle.

Positionnement pris en charge par l’œil

Ce tutoriel montre un scénario d’entrée appelé Put-That-There datant de la recherche du MIT Media Lab au début des années 1980 avec l’œil, la main et l’entrée vocale. L’idée est simple : bénéficiez de vos yeux pour la sélection et le positionnement rapides de la cible. Regardez simplement un hologramme et dites « put this », regardez là où vous voulez le placer et dites « là! ». Pour positionner plus précisément votre hologramme, vous pouvez utiliser des entrées supplémentaires à partir de vos mains, voix ou contrôleurs.

Résumé : Positionnement des hologrammes à l’aide des yeux, de la voix et de l’entrée manuelle (glisser-déplacer). Curseurs pris en charge par l’œil à l’aide des yeux + mains.

Visualisation de l’attention visuelle

Les données basées sur l’apparence des utilisateurs constituent un outil extrêmement puissant pour évaluer la facilité d’utilisation d’une conception et identifier les problèmes dans des flux de travail efficaces. Ce tutoriel présente différentes visualisations de suivi oculaire et explique comment elles répondent à différents besoins. Nous fournissons des exemples de base pour la journalisation et le chargement des données de suivi oculaire et des exemples pour savoir comment les visualiser.

Résumé : Carte d’attention à deux dimensions (cartes thermiques) sur les ardoises. Enregistrement de & la relecture des données de suivi oculaire.

Configuration des exemples de suivi oculaire MRTK

Prérequis

Notez que l’utilisation des exemples de suivi oculaire sur l’appareil nécessite un HoloLens 2 et un exemple de package d’application créé avec la fonctionnalité « Entrée de regard » sur appXManifest du package.

Pour utiliser ces exemples de suivi oculaire sur l’appareil, veillez à suivre ces étapes avant de créer l’application dans Visual Studio.

1. Charger EyeTrackingDemo-00-RootScene.unity

EyeTrackingDemo-00-RootScene est la scène de base (racine) qui contient tous les composants MRTK principaux inclus. Il s’agit de la scène que vous devez charger en premier et à partir de laquelle vous exécuterez les démonstrations de suivi oculaire. Il propose un menu graphique de scène qui vous permet de basculer facilement entre les différents échantillons de suivi oculaire qui seront chargés de manière additive.

Scene menu in eye tracking sample

La scène racine comprend quelques composants principaux qui seront conservés dans les scènes chargées de manière additive, telles que les profils et la caméra de scène configurés par MRTK. MixedRealityBasicSceneSetup (voir la capture d’écran ci-dessous) inclut un script qui charge automatiquement la scène référencée au démarrage. Par défaut, il s’agit d’EyeTrackingDemo-02-TargetSelection.

Example for the OnLoadStartScene script

2. Ajout de scènes au menu de génération

Pour charger des scènes additives pendant l’exécution, vous devez d’abord ajouter ces scènes à votre build Paramètres -> Scènes dans le menu Build. Il est important que la scène racine soit affichée comme la première scène de la liste :

Build Settings scene menu for eye tracking samples

3. Lire les exemples de suivi oculaire dans l’éditeur Unity

Après avoir ajouté les scènes de suivi oculaire à la build Paramètres et chargé l’EyeTrackingDemo-00-RootScene, il existe une dernière chose que vous pouvez vérifier : Le script « OnLoadStartScene » attaché au GameObject MixedRealityBasicSceneSetup est-il activé ? Il s’agit de faire savoir à la scène racine la scène de démonstration à charger en premier.

Example for the OnLoad_StartScene script

Allons-y ! Appuyez sur « Play » ! Vous devriez voir plusieurs gemmes apparaître et le menu de scène en haut.

Sample screenshot from the ET target select scene

Vous devriez également remarquer un petit cercle semi-transparent au centre de votre vue de jeu. Cela agit comme un indicateur (curseur) de votre regard simulé : appuyez simplement sur le bouton droit de la souris et déplacez la souris pour modifier sa position. Lorsque le curseur pointe sur les gemmes, vous remarquerez qu’il s’aligne sur le centre de la gemme actuellement consultée. Il s’agit d’un excellent moyen de tester si les événements sont déclenchés comme prévu lors de la « recherche » d’une cible. Sachez que le regard simulé par le biais du contrôle de la souris est un supplément assez pauvre à nos mouvements oculaires rapides et involontaires. Toutefois, il est idéal pour tester les fonctionnalités de base avant d’itérer sur la conception en le déployant sur l’appareil HoloLens 2. Retour à notre scène d’échantillon de suivi oculaire: La gemme pivote tant qu’elle est regardé et peut être détruite en « regardant » et ...

  • Appuyez sur Entrée (qui simule l’option « sélectionner »)
  • Dire « sélectionner » dans votre microphone
  • Lorsque vous appuyez sur Espace pour afficher l’entrée de main simulée, cliquez sur le bouton gauche de la souris pour effectuer un pincement simulé

Nous décrivons plus en détail comment vous pouvez effectuer ces interactions dans notre didacticiel sur la sélection cible prise en charge par les yeux.

Lorsque vous déplacez le curseur vers le haut de la barre de menus de la scène, vous remarquerez que l’élément actuellement pointé est mis en surbrillance subtilement. Vous pouvez sélectionner l’élément actuellement mis en surbrillance à l’aide de l’une des méthodes de validation décrites ci-dessus (par exemple, en appuyant sur Entrée). De cette façon, vous pouvez basculer entre les différentes scènes d’échantillon de suivi oculaire.

4. Comment tester des sous-scènes spécifiques

Lorsque vous travaillez sur un scénario spécifique, vous ne souhaiterez peut-être pas parcourir le menu de scène à chaque fois. Au lieu de cela, vous pouvez commencer directement à partir de la scène sur laquelle vous travaillez actuellement lorsque vous appuyez sur le bouton Lire . Aucun problème non plus ! Voici ce que vous pouvez faire :

  1. Charger la scène racine

  2. Dans la scène racine, désactivez le script « OnLoadStartScene »

  3. Faites glisser et déposez l’une des scènes de test de suivi oculaire décrites ci-dessous (ou toute autre scène) dans votre affichage Hiérarchie , comme illustré dans la capture d’écran ci-dessous.

    Example for additive scene

  4. Appuyez sur Lecture

Notez que le chargement de la sous-scène comme celle-ci n’est pas persistant : cela signifie que si vous déployez votre application sur l’appareil HoloLens 2, elle charge uniquement la scène racine (en supposant qu’elle apparaît en haut de votre Paramètres de build). En outre, lorsque vous partagez votre projet avec d’autres personnes, les sous-scènes ne sont pas chargées automatiquement.


Maintenant que vous savez comment obtenir les exemples de scènes de suivi oculaire MRTK à travailler, poursuivons avec la plongée plus approfondie dans la façon de sélectionner des hologrammes avec vos yeux : sélection cible prise en charge par les yeux.


Retour à « Suivi oculaire dans MixedRealityToolkit »