Présentation des interactions instinctuelles

Article
03/21/2023

Manipulation éloignée avec les mains

Les interactions simples et instinctuelles sont étroitement liées dans la plateforme de réalité mixte. Nous avons suivi trois étapes pour que les développeurs et concepteurs d’applications puissent proposer des interactions faciles et intuitives à leurs clients.

Tout d’abord, nous avons veillé à combiner nos capteurs et nos technologies d’entrée en modèles d’interaction multimodale. Ces modèles d’interaction incluent le suivi de la main et du regard, associé à l’entrée de langage naturel. Selon nos recherches, la conception et le développement au sein d’un framework multimodal (plutôt qu’à partir d’entrées individuelles) sont essentiels à la création d’expériences instinctives.

Deuxièmement, nous sommes conscients que de nombreux développeurs ciblent plusieurs appareils HoloLens tels qu’HoloLens 2 et HoloLens (1ère génération) ou HoloLens et VR. Nous avons donc conçu nos modèles d’interaction pour qu’ils fonctionnent sur tous les appareils, même si la technologie d’entrée varie d’un appareil à l’autre. Par exemple, une interaction de loin sur un casque immersif Windows avec un contrôleur 6DoF et un appareil HoloLens 2 utilise dans les deux cas des affordances et des schémas identiques. Cela facilite le développement d’applications multi-appareils et propose une sensation naturelle aux interactions des utilisateurs.

Face aux milliers d’interactions efficaces, attrayantes et magiques possibles qu’offre la réalité mixte, nous avons trouvé que l’utilisation intentionnelle d’un seul modèle d’interaction dans une application est le meilleur gage de réussite et d’expérience agréable pour les utilisateurs. À cette fin, nous avons inclus trois choses dans ce guide d’interaction :

Des instructions spécifiques autour des trois modèles d’interaction principaux et des composants et schémas requis pour chacun.
Des conseils supplémentaires sur d’autres avantages qu’offre notre plateforme.
Des conseils d’ordre général pour vous aider à sélectionner le modèle d’interaction approprié pour votre scénario.

Démonstration du suivi de la main et des interactions instinctives de base

Consultez notre démonstration vidéo Conception d’hologrammes - Suivi de la tête et suivi oculaire ci-dessous, puis passez à des rubriques plus spécifiques :

Cette vidéo a été extraite de l’application HoloLens 2 « Designing Holograms ». Téléchargez et profitez de l’expérience complète ici.

Modèles d’interaction multimodale

D’après nos recherches et les commentaires des clients, trois modèles d’interaction principaux conviennent pour la plupart des expériences de réalité mixte. À bien des égards, le modèle d’interaction est le modèle mental de l’utilisateur pour l’exécution d’un workflow. Chacun de ces modèles d’interaction est optimisé pour un ensemble de besoins des clients et s’avère pratique, puissant et exploitable dans le cadre d’une utilisation correcte.

Le tableau ci-dessous offre une vue d’ensemble simplifiée. Vous pouvez cliquer sur les liens ci-après pour obtenir des informations détaillées sur l’utilisation de chaque modèle d’interaction, y compris des images et des exemples de code.

Modèle	Exemples de scénario	Cadre	Matériel
Mains et contrôleurs de mouvement	Expériences 3D spatiales telles que la conception et la disposition spatiales, la manipulation de contenu ou la simulation.	Idéal pour les nouveaux utilisateurs en liaison avec la voix, le suivi oculaire ou le suivi de la tête. Courbe d’apprentissage basse. Expérience utilisateur cohérente entre le suivi de la main et les contrôleurs 6DoF.	HoloLens 2 Casques immersifs
Mains-libres	Expériences contextuelles où les mains d’un utilisateur sont occupées, par exemple dans le cadre d’un apprentissage « sur le tas » et d’une maintenance.	Un apprentissage est requis. Si les mains ne sont pas disponibles, l’appareil peut être associé à la voix et au langage naturel.	HoloLens 2 HoloLens (1ère génération) Casques immersifs
Pointer et valider	Expériences avec clic, par exemple, présentations 3D, démonstrations.	Nécessite une formation sur les appareils HMD, mais pas sur mobile. Idéal pour les contrôleurs accessibles. Idéal pour HoloLens (1ère génération).	HoloLens 2 HoloLens (1ère génération) Casques immersifs Réalité augmentée mobile

Pour éviter des vides dans l’expérience d’interaction de l’utilisateur, le mieux est de suivre les conseils pour un modèle unique du début à la fin.

Les sections ci-dessous décrivent les étapes de sélection et d’implémentation de l’un de ces modèles d’interaction.

Quand vous parviendrez à la fin de cette page, vous comprendrez nos conseils sur :

Le choix d’un modèle d’interaction pour votre client
Implémentation du modèle d’interaction
Le passage d’un modèle d’interaction à un autre
Les étapes suivantes de la conception

Choisir un modèle d’interaction pour votre client

Généralement, les développeurs et les créateurs ont envisagé les types d’interactions que leurs clients peuvent avoir. Pour encourager une approche conceptuelle axée sur le client, nous vous recommandons de suivre les conseils suivants afin de sélectionner le modèle d’interaction qui est optimisé pour votre client.

Pourquoi suivre ces conseils ?

Nous testons nos modèles d’interaction en fonction de critères objectifs et subjectifs, notamment les efforts physiques et cognitifs, l’intuitivité et la facilité d’apprentissage.
Tout comme les interactions, les affordances visuelles/audio et le comportement des objets peuvent varier d’un modèle d’interaction à l’autre.
La combinaison de parties de plusieurs modèles d’interaction crée le risque d’affordances concurrentes, à l’image de rayons émanant de la main et d’un curseur oculaire simultanés. Cette expérience peut submerger et perturber les utilisateurs.

Voici quelques exemples d’optimisation des affordances et des comportements pour chaque modèle d’interaction. Nous constatons souvent que les nouveaux utilisateurs ont des questions similaires, telles que « comment savoir si le système fonctionne ? » , « comment savoir ce que je peux faire ? » et « comment savoir s’il a compris ce que je viens de faire ? » .

Modèle	Comment savoir si ça fonctionne ?	Comment savoir ce que je peux faire ?	Comment savoir ce que je viens de faire ?
Mains et contrôleurs de mouvement	Je vois un maillage de main, une affordance d’extrémité de doigt ou des rayons de contrôleur/sortant de la main.	Des poignées déplaçables ou un rectangle englobant apparaissent quand ma main est proche d’un objet.	J’entends des tonalités et vois des animations quand je saisis ou libère un objet.
Suivre de la tête et valider	Je vois un curseur au centre de mon champ de vision.	Le curseur change d’état en fonction de l’objet au-dessus duquel il se trouve.	Je vois/j’entends des confirmations visuelles et sonores quand j’effectue une action.
Mains-libres (Suivre de la tête et stabiliser)	Je vois un curseur au centre de mon champ de vision.	Je vois un indicateur de progression quand je reste sur un objet avec interaction possible.	Je vois/j’entends des confirmations visuelles et sonores quand j’effectue une action.
Mains-libres (commander avec la voix)	Je vois un indicateur à l’écoute et des légendes qui montrent ce que le système a entendu.	J’obtiens des indicateurs et des invites vocales. Quand je dis : Qu’est-ce que je dis ? je vois un retour.	Je vois/entends des confirmations visuelles et sonores quand je donne une commande ou obtiens une expérience utilisateur de levée d’ambiguïté si nécessaire.

Voici les questions qui, d’après nous, aident les équipes à sélectionner un modèle d’interaction :

Q : Mes utilisateurs souhaitent-ils toucher des hologrammes et effectuer des manipulations holographiques de précision ?

R : Si tel est le cas, consultez le modèle d’interaction Mains et contrôleurs de mouvement pour un ciblage et une manipulation de précision.
Q : Les utilisateurs doivent-ils conserver leurs mains libres pour des tâches réelles ?

R : Si tel est le cas, examinez le modèle d’interaction sans les mains, qui fournit une excellente expérience sans les mains via des interactions vocales et le pointage du regard.
Q : Les utilisateurs ont-ils le temps d’apprendre les interactions pour mon application de réalité mixte ou ont-ils besoin des interactions présentant la courbe d’apprentissage la plus basse possible ?

R : Nous recommandons le modèle Mains et contrôleurs de mouvement pour la courbe d’apprentissage la plus basse et les interactions les plus intuitives, sous réserve que les utilisateurs puissent recourir à leurs mains pour les interactions.
Q : Les utilisateurs utilisent-ils des contrôleurs de mouvement pour les opérations de pointage et de manipulation ?

R : Le modèle Mains et contrôleurs de mouvement inclut tous les conseils pour une bonne expérience des contrôleurs de mouvement.
Q : Les utilisateurs se servent-ils d’un contrôleur d’accessibilité ou d’un contrôleur Bluetooth courant, comme un dispositif de clic ?

R : Nous recommandons le modèle Suivre de la tête et valider pour tous les contrôleurs non suivis. Il est conçu pour permettre à un utilisateur de parcourir une expérience entière avec un simple mécanisme de type « ciblage et validation ».
Q : Les utilisateurs progressent-ils dans une expérience uniquement par le biais de clics (comme dans un environnement de type diaporama 3D), par opposition à la navigation dans des dispositions denses de contrôles d’interface utilisateur ?

R : Si les utilisateurs n’ont pas besoin de contrôler une interface utilisateur conséquente, le modèle Suivre de la tête et valider offre une option accessible où ils n’ont pas besoin de se soucier du ciblage.
Q : Les utilisateurs utilisent-ils à la fois des casques immersifs HoloLens (1ère génération) et HoloLens 2/Windows Mixed Reality (VR) ?

R : Dans la mesure où le modèle Suivre de la tête et valider est le modèle d’interaction pour HoloLens (1ère génération), nous recommandons aux créateurs qui prennent en charge HoloLens (1ère génération) d’utiliser ce modèle pour les fonctionnalités ou les modes que les utilisateurs vivront sur un casque HoloLens (1ère génération). Consultez la section suivante Passage d’un modèle d’interaction à un autre pour plus d’informations sur la création d’une expérience optimale pour plusieurs générations de dispositifs HoloLens.
Q : Qu’en est-il des utilisateurs qui sont mobiles, dans un large espace ou en raison de déplacements entre des espaces, et des utilisateurs qui ont tendance à travailler dans un seul espace ?

R : Tous les modèles d’interaction fonctionnent pour ces utilisateurs.

Remarque

Des conseils spécifiques à la conception d’applications seront bientôt disponibles.

Passage d’un modèle d’interaction à un autre

Certains cas d’usage peuvent nécessiter l’utilisation de plusieurs modèles d’interaction. Par exemple, le flux de création de votre application utilise le modèle d’interaction « Mains et contrôleurs de mouvement » , mais vous souhaitez employer un mode mains libres pour les techniciens de terrain. Si votre expérience nécessite plusieurs modèles d’interaction, les utilisateurs peuvent avoir des difficultés pour passer d’un modèle à un autre, en particulier ceux pour lesquels la réalité mixte est une nouveauté.