Suivi des mains et des yeux articulés dans Unity

HoloLens 2 a introduit de nouvelles fonctionnalités intéressantes, telles que le suivi des mains articulées et des yeux.

Le moyen le plus simple de tirer parti de la nouvelle fonctionnalité dans Unity consiste à utiliser MRTK. Il existe également quelques exemples de scènes pour vous aider à commencer.

Blocs de construction prenant en charge les mains, les yeux et les autres dans MRTK

MRTK v2 fournit un ensemble de contrôles et de blocs de construction de l’interface utilisateur pour vous aider à accélérer votre développement.

ButtonBouton Cadre englobant Gestionnaire de manipulations
Contrôle bouton, qui prend en charge différentes méthodes d’entrée, y compris la main articulée de HoloLens2 Interface utilisateur standard pour manipuler des objets dans l’espace 3D Script pour manipuler des objets avec une ou deux mains
SlateArdoise System KeyboardClavier système InteractableInteraction
Plan de style 2D, qui prend en charge le défilement avec une entrée de main articulée Exemple de script d’utilisation du clavier système dans Unity Script pour rendre les objets interactifs avec les états visuels et la prise en charge des thèmes
SolverSolveur Object CollectionCollection d’objets TooltipInfo-bulle
Différents comportements de positionnement d’objet, tels que les balises, le verrouillage du corps, la taille d’affichage constante et le magnétisme de surface Script pour la mise en place d’un tableau d’objets dans une forme tridimensionnelle Interface utilisateur d’annotation avec système flexible d’ancre/pivot, qui peut être utilisé pour l’étiquetage des contrôleurs de mouvement et de l’objet.
App BarBarre d’application PointersPointeurs Fingertip VisualizationVisualisation du bout des doigts
Interface utilisateur pour l’activation manuelle de Bounding Box Découvrez les différents types de pointeurs Affordance visuelle sur le bout des doigts, ce qui améliore la confiance pour l’interaction directe
Eye Tracking: Target SelectionSuivi oculaire : Sélection de la cible Eye Tracking: NavigationSuivi oculaire : Navigation
Combinez les entrées des yeux, de la voix et de la main pour sélectionner rapidement et sans effort des hologrammes dans votre scène Découvrez comment faire défiler automatiquement le texte ou zoomer sur du contenu ciblé en fonction de ce que vous regardez Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application

Exemples de scène

Explorez les différents types d’interactions et de contrôles d’interface utilisateur du MRTK dans cet exemple de scène.

Vous trouverez d’autres exemples de scènes dans Mixed Reality Toolkit GitHub sous le dossier Assets/MixedRealityToolkit.Examples/Demos.

Exemple de scène

Point de contrôle de développement suivant

Si vous suivez le parcours de développement Unity que nous avons préparé, vous êtes en train d’explorer les blocs de construction de base MRTK. À partir de là, vous pouvez passer au module suivant :

Ou accéder aux API et fonctionnalités de la plateforme Mixed Reality :

Vous pouvez revenir aux points de contrôle de développement Unity à tout moment.

Voir aussi