Vue d’ensemble des exemples de suivi oculaire

Cette rubrique explique comment prendre rapidement en main le suivi oculaire dans MRTK en vous appuyant sur les exemples de suivi oculaire MRTK (ressources/MRTK/exemples/démonstrations/EyeTracking). Ces exemples vous permettent de découvrir l’une de nos nouvelles fonctionnalités de saisie magique : le suivi oculaire! La démonstration comprend divers cas d’usage, allant des activations basées sur les yeux implicites à la manière de combiner en toute transparence les informations sur ce que vous examinez avec la voix et les entrées. Cela permet aux utilisateurs de sélectionner et de déplacer rapidement et facilement le contenu holographique dans leur vue simplement en regardant une cible et en disant « Sélectionner » ou en effectuant un mouvement manuel. Les démonstrations incluent également un exemple de défilement orienté vers le regard, panoramique et zoom du texte et des images sur un ardoise. Enfin, un exemple est fourni pour l’enregistrement et la visualisation de l’attention visuelle de l’utilisateur sur un ardoise 2D. Dans la section suivante, vous trouverez plus d’informations sur la façon dont chacun des différents exemples du package d’exemples de suivi oculaire MRTK (ressources/MRTK/examples/démos/EyeTracking) comprend :

Liste des scènes de suivi oculaire

La section suivante est une vue d’ensemble rapide des scènes de démonstration du suivi des yeux. Les scènes de démonstration de suivi oculaire MRTK sont chargéesde manière additive, que nous expliquerons ci-dessous comment configurer.

Vue d’ensemble des exemples de démonstrations de suivi oculaire

Sélection de la cible prise en charge par l’œil

Ce didacticiel présente la facilité d’accès aux données de regard oculaire pour sélectionner des cibles. Il comprend un exemple de commentaires subtils et puissants pour fournir à l’utilisateur la certitude qu’une cible est ciblée sans être écrasante. En outre, il existe un exemple simple de notifications intelligentes qui disparaissent automatiquement après la lecture.

Résumé: sélections de cibles rapides et faciles à l’aide d’une combinaison d’yeux, de voix et d’entrées de main.

Navigation prise en charge par l’œil

Imagine que vous lisez des informations sur un affichage distant ou sur un lecteur e-lecteur et que vous atteignez la fin du texte affiché, le texte défile automatiquement pour afficher davantage de contenu. Ou comment faire un zoom direct direct vers l’emplacement de votre recherche ? Voici quelques-uns des exemples présentés dans ce didacticiel sur la navigation prise en charge par les yeux. En outre, il existe un exemple de rotation mains libres d’hologrammes 3D en les faisant pivoter automatiquement en fonction de votre focus actuel.

Résumé: défilement, panoramique, zoom, rotation 3D à l’aide d’une combinaison d’yeux, de voix et d’entrées de main.

Positionnement de la prise en charge oculaire

Ce didacticiel présente un scénario d’entrée appelé Put-It- le retour à la recherche à partir du MIT Media Lab au début des années 1980, avec les entrées de l’œil, de la main et de la voix. L’idée est simple : Tirez parti de vos yeux pour la sélection et le positionnement rapides des cibles. Examinez simplement un hologramme et dites « _Placer_», regardez où vous souhaitez le placer et dites-le « là ! ». Pour un positionnement plus précis de votre hologramme, vous pouvez utiliser des entrées supplémentaires de vos mains, de vos voix ou de vos contrôleurs.

Résumé: positionnement des hologrammes à l’aide des yeux, des entrées vocales et de la main (glisser-déplacer). Curseurs pris en charge par l’œil utilisant des yeux et des mains.

Visualisation de l’attention visuelle

Les données basées sur l’emplacement des utilisateurs constituent un outil très puissant pour évaluer l’utilisation d’une conception et identifier les problèmes dans les flux de travail efficaces. Ce didacticiel présente les différentes visualisations de suivi oculaire et la façon dont elles s’adaptent aux différents besoins. Nous fournissons des exemples de base pour la journalisation et le chargement des données de suivi visuel et des exemples pour la visualisation.

Résumé: carte à attention à deux dimensions (cartes thermiques) sur les ardoises. Enregistrement & relecture des données de suivi oculaire.

Configuration des exemples de suivi oculaire MRTK

Prérequis

notez que l’utilisation des exemples de suivi oculaire sur l’appareil requiert une HoloLens 2 et un exemple de package d’application généré avec la fonctionnalité « en entrée de regard » sur le AppXManifest du package.

Pour pouvoir utiliser ces exemples de suivi oculaire sur un appareil, veillez à suivre ces étapes avant de créer l’application dans Visual Studio.

1. Chargez EyeTrackingDemo-00-RootScene. Unity

EyeTrackingDemo-00-RootScene est la scène de base (racine) qui contient tous les composants MRTK principaux. Il s’agit de la scène que vous devez charger en premier et à partir de laquelle vous allez exécuter les démonstrations de suivi oculaire. Il comprend un menu de scène graphique qui vous permet de basculer facilement entre les différents exemples de suivi oculaire qui seront chargés de manière additive.

Menu Scene dans l’exemple de suivi oculaire

La scène racine comprend quelques composants principaux qui sont conservés dans les scènes chargées de manière additive, telles que les profils configurés par MRTK et l’appareil photo de scène. Le MixedRealityBasicSceneSetup (voir la capture d’écran ci-dessous) comprend un script qui chargera automatiquement la scène référencée au démarrage. Par défaut, il s’agit de EyeTrackingDemo-02-TargetSelection.

Exemple de script OnLoadStartScene

2. Ajout de scènes au menu Générer

pour charger des scènes additives pendant l’exécution, vous devez d’abord ajouter ces scènes à votre Paramètres de build-> scènes dans le menu générer. Il est important que la scène racine s’affiche comme la première scène de la liste :

menu générer Paramètres scène pour les exemples de suivi oculaire

3. lire les exemples de suivi oculaire dans l’éditeur Unity

après avoir ajouté les scènes de suivi oculaire à la Paramètres de génération et à charger EyeTrackingDemo-00-RootScene, il y a une dernière chose à vérifier : le script « OnLoadStartScene » attaché au MixedRealityBasicSceneSetup GameObject est-il activé ? Cela permet d’informer la scène racine de la scène de démonstration à charger en premier.

Exemple pour le script OnLoad_StartScene

Allons-y ! Appuyez sur « Play »! Vous devriez voir plusieurs gemmes apparaître et le menu scène en haut.

Exemple de capture d’écran de la cible ET sélectionner une scène

Vous devez également noter un petit cercle translucide au centre de votre vue de jeu. Cela agit comme un indicateur (curseur) de la simulation de regard: appuyez simplement sur le bouton droit de la souris et déplacez la souris pour modifier sa position. Quand le curseur pointe sur les gemmes, vous remarquerez qu’il sera aligné sur le centre de la gemme actuellement affichée. C’est un excellent moyen de tester si des événements sont déclenchés comme prévu lors de la « recherche » sur une cible. Sachez que le point de contrôle de la souris est un complément plutôt médiocre à nos mouvements d’oeil rapides et involontaires. toutefois, il est parfait pour tester les fonctionnalités de base avant d’effectuer une itération sur la conception en la déployant sur l’appareil HoloLens 2. Retour à notre exemple de scène de suivi oculaire : la gemme pivote tant qu’elle est examinée et peut être détruite en « regardant » sur celle-ci et...

  • En appuyant sur entrée (ce qui simule « Select »)
  • Dire « Select » dans votre microphone
  • Tout en appuyant sur l' espace pour afficher l’entrée simulée, cliquez sur le bouton gauche de la souris pour effectuer un pincement simulé

Nous décrivons plus en détail comment vous pouvez obtenir ces interactions dans notre didacticiel sur la sélection de cibles prises en charge par les yeux.

Lorsque vous déplacez le curseur vers la barre de menus supérieure de la scène, vous remarquerez que l’élément actuellement mis en surbrillance sera légèrement surligné. Vous pouvez sélectionner l’élément actuellement mis en surbrillance à l’aide de l’une des méthodes de validation décrites ci-dessus (par exemple, en appuyant sur entrée). De cette façon, vous pouvez basculer entre les différents exemples de scènes de suivi oculaire.

4. Comment tester des sous-scènes spécifiques

Lorsque vous travaillez sur un scénario spécifique, vous pouvez ne pas souhaiter parcourir le menu scène à chaque fois. Au lieu de cela, vous souhaiterez peut-être commencer directement à partir de la scène sur laquelle vous travaillez quand vous appuyez sur le bouton de lecture . Aucun problème non plus ! Voici ce que vous pouvez faire :

  1. Charger la scène racine

  2. Dans la scène racine , désactivez le script 'OnLoadStartScene'

  3. Glissez -déplacez une des scènes de test de suivi oculaire décrites ci-dessous (ou toute autre scène) dans votre affichage hiérarchique , comme indiqué dans la capture d’écran ci-dessous.

    Exemple de scène additive

  4. Appuyez sur Play

notez que le chargement de la sous-scène comme celle-ci n’est pas persistant : cela signifie que si vous déployez votre application sur l’appareil HoloLens 2, elle ne chargera que la scène racine (en supposant qu’elle apparaît en haut de votre Paramètres de Build). En outre, lorsque vous partagez votre projet avec d’autres personnes, les sous-scènes ne sont pas chargées automatiquement.


Maintenant que vous savez comment faire fonctionner les exemples de suivi oculaire MRTK, commençons par examiner plus en détail comment sélectionner des hologrammes avec vos yeux : sélection de cible prise en chargepar l’œil.


Retour à « suivi oculaire dans le MixedRealityToolkit »