Présentation des interactions instinctuellesIntroducing instinctual interactions

Manipulation éloignée avec les mains

Les interactions simples et instinctuelles sont étroitement liées dans la plateforme de réalité mixte.The philosophy of simple, instinctual interactions is interwoven throughout the mixed reality (MR) platform. Nous avons suivi trois étapes pour que les développeurs et concepteurs d’applications puissent proposer des interactions faciles et intuitives à leurs clients.We've taken three steps to ensure that application designers and developers can provide their customers with easy and intuitive interactions.

Tout d’abord, nous avons veillé à combiner nos capteurs et nos technologies d’entrée en modèles d’interaction multimodale.First, we've made sure our sensors and input technologies combine into multimodal interaction models. Ces modèles d’interaction incluent le suivi de la main et du regard, associé à l’entrée de langage naturel.These interaction models include hand and eye tracking along with natural language input. Selon nos recherches, la conception et le développement au sein d’un framework multimodal (plutôt qu’à partir d’entrées individuelles) sont essentiels à la création d’expériences instinctives.Based on our research, designing and developing within a multimodal framework (and not based on individual inputs) is the key to creating instinctual experiences.

Deuxièmement, nous sommes conscients que de nombreux développeurs ciblent plusieurs appareils HoloLens tels qu’HoloLens 2 et HoloLens (1ère génération) ou HoloLens et VR.Second, we recognize that many developers target multiple HoloLens devices, such as HoloLens 2 and HoloLens (1st gen) or HoloLens and VR. Nous avons donc conçu nos modèles d’interaction pour qu’ils fonctionnent sur tous les appareils, même si la technologie d’entrée varie d’un appareil à l’autre.So we've designed our interaction models to work across devices, even if the input technology varies on each device. Par exemple, une interaction de loin sur un casque immersif Windows avec un contrôleur 6DoF et un appareil HoloLens 2 utilise dans les deux cas des affordances et des schémas identiques.For example, far interaction on a Windows Immersive headset with a 6DoF controller and HoloLens 2 both use identical affordances and patterns. Cela facilite le développement d’applications multi-appareils et propose une sensation naturelle aux interactions des utilisateurs.This makes it easy for cross-device application development and provides a natural feel to user interactions.

Face aux milliers d’interactions efficaces, attrayantes et magiques possibles qu’offre la réalité mixte, nous avons trouvé que l’utilisation intentionnelle d’un seul modèle d’interaction dans une application est le meilleur gage de réussite et d’expérience agréable pour les utilisateurs.While we recognize that there are thousands of effective, engaging, and magical interactions possible in MR, we've found that intentionally employing a single interaction model in an application is the best way to ensure users are successful and have a great experience. À cette fin, nous avons inclus trois choses dans ce guide d’interaction :To that end, we've included three things in this interaction guidance:

  • Des instructions spécifiques autour des trois modèles d’interaction principaux et des composants et schémas requis pour chacun.Specific guidance around the three primary interaction models and the components and patterns required for each.
  • Des conseils supplémentaires sur d’autres avantages qu’offre notre plateforme.Supplemental guidance about other benefits that our platform provides.
  • Des conseils d’ordre général pour vous aider à sélectionner le modèle d’interaction approprié pour votre scénario.General guidance to help select the appropriate interaction model for your development scenario.

Modèles d’interaction multimodaleMultimodal interaction models

D’après nos recherches et les commentaires des clients, trois modèles d’interaction principaux conviennent pour la plupart des expériences de réalité mixte.Based on our research and feedback from customers, we've discovered that three primary interaction models suit most mixed reality experiences. À bien des égards, le modèle d’interaction est le modèle mental de l’utilisateur pour l’exécution d’un workflow.In many ways, the interaction model is the user's mental model for how to complete a workflow. Chacun de ces modèles d’interaction est optimisé pour un ensemble de besoins des clients et s’avère pratique, puissant et exploitable dans le cadre d’une utilisation correcte.Each of these interaction models is optimized for a set of customer needs and is convenient, powerful, and usable when used correctly.

Le tableau ci-dessous offre une vue d’ensemble simplifiée.The chart below is a simplified overview. Vous pouvez cliquer sur les liens ci-après pour obtenir des informations détaillées sur l’utilisation de chaque modèle d’interaction, y compris des images et des exemples de code.Detailed information for using each interaction model is linked in the pages below with images and code samples.


ModèleModel Exemples de scénarioExample scenarios CadreFit MatérielHardware
Mains et contrôleurs de mouvementHands and motion controllers Expériences 3D spatiales telles que la conception et la disposition spatiales, la manipulation de contenu ou la simulation.3D spatial experiences, such as spatial layout and design, content manipulation, or simulation. Idéal pour les nouveaux utilisateurs en liaison avec la voix, le suivi oculaire ou le suivi de la tête.Great for new users coupled with voice, eye tracking or head gaze. Courbe d’apprentissage basse.Low learning curve. Expérience utilisateur cohérente entre le suivi de la main et les contrôleurs 6DoF.Consistent UX across hand tracking and 6DoF controllers. HoloLens 2HoloLens 2
Casques immersifsImmersive headsets
Mains-libresHands-free Expériences contextuelles où les mains d’un utilisateur sont occupées, par exemple dans le cadre d’un apprentissage « sur le tas » et d’une maintenance.Contextual experiences where a user's hands are occupied, such as on-the-job learning and maintenance. Un apprentissage est requis.Some learning required. Si les mains ne sont pas disponibles, l’appareil peut être associé à la voix et au langage naturel.If hands are unavailable, the device pairs well with voice and natural language. HoloLens 2HoloLens 2
HoloLens (1ère génération)HoloLens (1st gen)
Casques immersifsImmersive headsets
Pointer et validerGaze and commit Expériences avec clic, par exemple, présentations 3D, démonstrations.Click-through experiences, for example, 3D presentations, demos. Nécessite une formation sur les appareils HMD, mais pas sur mobile.Requires training on HMDs but not on mobile. Idéal pour les contrôleurs accessibles.Best for accessible controllers. Idéal pour HoloLens (1ère génération).Best for HoloLens (1st gen). HoloLens 2HoloLens 2
HoloLens (1ère génération)HoloLens (1st gen)
Casques immersifsImmersive headsets
Réalité augmentée mobileMobile AR

Pour éviter des vides dans l’expérience d’interaction de l’utilisateur, le mieux est de suivre les conseils pour un modèle unique du début à la fin.To avoid gaps in the user interaction experience, it's best to follow the guidance for a single model from beginning to end.

Les sections ci-dessous décrivent les étapes de sélection et d’implémentation de l’un de ces modèles d’interaction.The sections below walk through the steps for selecting and implementing one of these interaction models.

Quand vous parviendrez à la fin de cette page, vous comprendrez nos conseils sur :By the end of this page, you'll understand our guidance on:

  • Le choix d’un modèle d’interaction pour votre clientChoosing an interaction model for your customer
  • Implémentation du modèle d’interactionImplementing the interaction model
  • Le passage d’un modèle d’interaction à un autreTransitioning between interaction models
  • Les étapes suivantes de la conceptionDesign next steps

Choisir un modèle d’interaction pour votre clientChoose an interaction model for your customer

Généralement, les développeurs et les créateurs ont envisagé les types d’interactions que leurs clients peuvent avoir.Typically, developers and creators have thought through the types of interactions that their customers can have. Pour encourager une approche conceptuelle axée sur le client, nous vous recommandons de suivre les conseils suivants afin de sélectionner le modèle d’interaction qui est optimisé pour votre client.To encourage a customer-focused approach to design, we recommend the following guidance for selecting the interaction model that's optimized for your customer.

Pourquoi suivre ces conseils ?Why follow this guidance?

  • Nous testons nos modèles d’interaction en fonction de critères objectifs et subjectifs, notamment les efforts physiques et cognitifs, l’intuitivité et la facilité d’apprentissage.We test our interaction models for objective and subjective criteria, including physical and cognitive effort, intuitiveness, and learnability.
  • Tout comme les interactions, les affordances visuelles/audio et le comportement des objets peuvent varier d’un modèle d’interaction à l’autre.Because interactions differ, visual/audio affordances and object behavior might differ between interaction models.
  • La combinaison de parties de plusieurs modèles d’interaction crée le risque d’affordances concurrentes, à l’image de rayons émanant de la main et d’un curseur oculaire simultanés.Combining parts of multiple interaction models creates the risk of competing affordances, such as simultaneous hand rays and a head-gaze cursor. Cette expérience peut submerger et perturber les utilisateurs.This can overwhelm and confuse users.

Voici quelques exemples d’optimisation des affordances et des comportements pour chaque modèle d’interaction.Here are some examples of how affordances and behaviors are optimized for each interaction model. Nous constatons souvent que les nouveaux utilisateurs ont des questions similaires, telles que « comment savoir si le système fonctionne ? » , « comment savoir ce que je peux faire ? » et « comment savoir s’il a compris ce que je viens de faire ? » .We often see new users have similar questions, such as "how do I know the system is working", "how do I know what I can do", and "how do I know if it understood what I just did?"


ModèleModel Comment savoir si ça fonctionne ?How do I know it's working? Comment savoir ce que je peux faire ?How do I know what I can do? Comment savoir ce que je viens de faire ?How do I know what I just did?
Mains et contrôleurs de mouvementHands and motion controllers Je vois un maillage de main, une affordance d’extrémité de doigt ou des rayons de contrôleur/sortant de la main.I see a hand mesh, a fingertip affordance, or hand/controller rays. Des poignées déplaçables ou un rectangle englobant apparaissent quand ma main est proche d’un objet.I see grabbable handles, or a bounding box appears when my hand is near an object. J’entends des tonalités et vois des animations quand je saisis ou libère un objet.I hear audible tones and see animations on grab and release.
Suivre de la tête et validerHead-gaze and commit Je vois un curseur au centre de mon champ de vision.I see a cursor in the center of my field of view. Le curseur change d’état en fonction de l’objet au-dessus duquel il se trouve.The cursor changes state when it's over certain objects. Je vois/j’entends des confirmations visuelles et sonores quand j’effectue une action.I see/hear visual and audible confirmations when I take action.
Mains-libres (Suivre de la tête et stabiliser)Hands-free (Head-gaze and dwell) Je vois un curseur au centre de mon champ de vision.I see a cursor in the center of my field of view. Je vois un indicateur de progression quand je reste sur un objet avec interaction possible.I see a progress indicator when I dwell on an interactable object. Je vois/j’entends des confirmations visuelles et sonores quand j’effectue une action.I see/hear visual and audible confirmations when I take action.
Mains-libres (commander avec la voix)Hands-free (Voice commanding) Je vois un indicateur à l’écoute et des légendes qui montrent ce que le système a entendu.I see a listening indicator and captions that show what the system heard. J’obtiens des indicateurs et des invites vocales.I get voice prompts and hints. Quand je dis : Qu’est-ce que je dis ?When I say: "What can I say?" je vois un retour.I see feedback. Je vois/entends des confirmations visuelles et sonores quand je donne une commande ou obtiens une expérience utilisateur de levée d’ambiguïté si nécessaire.I see/hear visual and audible confirmations when I give a command, or get disambiguation UX when needed.

Voici les questions qui, d’après nous, aident les équipes à sélectionner un modèle d’interaction :Below are questions that we've found help teams select an interaction model:

  1. Q : Les utilisateurs souhaitent-ils toucher des hologrammes et effectuer des manipulations holographiques de précision ?Q: Do my users want to touch holograms and perform precision holographic manipulations?

    R : Si tel est le cas, consultez le modèle d’interaction Mains et contrôleurs de mouvement pour un ciblage et une manipulation de précision.A: If so, check out the Hands and motion controllers interaction model for precision targeting and manipulation.

  2. Q : Les utilisateurs doivent-ils conserver leurs mains libres pour les tâches réelles ?Q: Do my users need to keep their hands free for real-world tasks?

    R : Si tel est le cas, examinez le modèle d’interaction sans les mains, qui fournit une excellente expérience sans les mains par le biais d’interactions vocales et par pointage du regard.A: If so, take a look at the Hands-free interaction model, which provides a great hands-free experience through gaze and voice-based interactions.

  3. Q : Les utilisateurs ont-ils le temps d’apprendre les interactions pour mon application de réalité mixte ou ont-ils besoin des interactions présentant la courbe d’apprentissage la plus basse possible ?Q: Do my users have time to learn interactions for my MR application or do they need the interactions with the lowest learning curve possible?

    R : Nous recommandons le modèle Mains et contrôleurs de mouvement pour la courbe d’apprentissage la plus basse et les interactions les plus intuitives, sous réserve que les utilisateurs puissent recourir à leurs mains pour les interactions.A: For the lowest learning curve and most intuitive interactions, we recommend the Hands and motion controllers model, as long as users can use their hands for interaction.

  4. Q : Les utilisateurs utilisent-ils des contrôleurs de mouvement pour les opérations de pointage et de manipulation ?Q: Do my users use motion controllers for pointing and manipulation?

    R : Le modèle Mains et contrôleurs de mouvement inclut tous les conseils pour une bonne expérience des contrôleurs de mouvement.A: The Hands and motion controllers model includes all guidance for a great experience with motion controllers.

  5. Q : Les utilisateurs se servent-ils d’un contrôleur d’accessibilité ou d’un contrôleur Bluetooth courant, tel qu’un dispositif de clic ?Q: Do my users use an accessibility controller or a common Bluetooth controller, such as a clicker?

    R : Nous recommandons le modèle Suivre de la tête et valider pour tous les contrôleurs non suivis.A: We recommend the Head-gaze and commit model for all non-tracked controllers. Il est conçu pour permettre à un utilisateur de parcourir une expérience entière avec un simple mécanisme de type « ciblage et validation ».It's designed to allow a user to traverse an entire experience with a simple "target and commit" mechanism.

  6. Q : Les utilisateurs progressent-ils dans une expérience uniquement par le biais de clics (comme dans un environnement de type diaporama 3D), par opposition à la navigation dans des dispositions denses de contrôles d’interface utilisateur ?Q: Do my users only progress through an experience by "clicking through" (for example in a 3D slideshow-like environment), as opposed to navigating dense layouts of UI controls?

    R : Si les utilisateurs n’ont pas besoin de contrôler une interface utilisateur conséquente, le modèle Suivre de la tête et valider offre une option accessible où ils n’ont pas besoin de se soucier du ciblage.A: If users don't need to control a lot of UI, Head-gaze and commit offers a learnable option where users don't have to worry about targeting.

  7. Q : Les utilisateurs utilisent-ils à la fois des casques immersifs appareil HoloLens (1ère génération) et HoloLens 2/Windows Mixed Reality (VR) ?Q: Do my users use both HoloLens (1st gen) and HoloLens 2/Windows Mixed Reality immersive headsets (VR)?

    R : Dans la mesure où le modèle Suivre de la tête et valider est le modèle d’interaction pour HoloLens (1ère génération), nous recommandons aux créateurs qui prennent en charge HoloLens (1ère génération) d’utiliser ce modèle pour les fonctionnalités ou les modes que les utilisateurs vivront sur un casque HoloLens (1ère génération).A: Since Head-gaze and commit are the interaction model for HoloLens (1st gen), we recommend that creators who support HoloLens (1st gen) use Head-gaze and commit for any features or modes that users will experience on a HoloLens (1st gen) headset. Consultez la section suivante Passage d’un modèle d’interaction à un autre pour plus d’informations sur la création d’une expérience optimale pour plusieurs générations de dispositifs HoloLens.See the next section on Transitioning interaction models for details on making a great experience for multiple HoloLens generations.

  8. Q : Qu’en est-il des utilisateurs qui sont mobiles, dans un large espace ou en raison de déplacements entre des espaces, et des utilisateurs qui ont tendance à travailler dans un seul espace ?Q: What about users who are mobile, covering a large space or moving between spaces, versus users who tend to work in a single space?

    R : Tous les modèles d’interaction fonctionnent pour ces utilisateurs.A: Any of the interaction models will work for these users.

Notes

Des conseils spécifiques à la conception d’applications seront bientôt disponibles.More guidance specific to app design coming soon.

Passage d’un modèle d’interaction à un autreTransitioning interaction models

Certains cas d’usage peuvent nécessiter l’utilisation de plusieurs modèles d’interaction.There are also use cases that might require using more than one interaction model. Par exemple, le flux de création de votre application utilise le modèle d’interaction « Mains et contrôleurs de mouvement » , mais vous souhaitez employer un mode mains libres pour les techniciens de terrain.For example, your application's creation flow uses the "hands and motion controllers" interaction model, but you want to employ a hands-free mode for field technicians. Si votre expérience nécessite plusieurs modèles d’interaction, les utilisateurs peuvent avoir des difficultés pour passer d’un modèle à un autre, en particulier ceux pour lesquels la réalité mixte est une nouveauté.If your experience does require multiple interaction models, users might have difficulty transitioning from one model to another, especially when they're new to mixed reality.

Notes

Nous travaillons en permanence sur des conseils supplémentaires qui seront mis à la disposition des développeurs et des concepteurs et les informeront de la manière, du moment et de la raison de l’utilisation de plusieurs modèles d’interaction RM.We're constantly working on more guidance that will be available to developers and designers, informing them about the how, when, and why for using multiple MR interaction models.

Voir aussiSee also