Image holographique
Les utilisateurs voient le monde de la réalité mixte par le biais d’une fenêtre d’affichage rectangulaire alimentée par leur casque. Sur l’appareil HoloLens, cette zone rectangulaire est appelée « image holographique » et permet aux utilisateurs de voir le contenu numérique superposé au monde réel qui les entoure. La conception d’expériences optimisées pour le frame holographique crée des opportunités, atténue les défis et améliore l’expérience utilisateur des applications de réalité mixte.
Conception pour le contenu
Souvent, les concepteurs ressentent le besoin de limiter l’étendue de leur expérience à ce que l’utilisateur peut voir immédiatement, en sacrifiant l’échelle réelle pour s’assurer que l’utilisateur voit un objet dans son intégralité. De même, les concepteurs avec des applications complexes surchargent souvent le cadre holographique avec du contenu, submergeant les utilisateurs avec des interactions difficiles et des interfaces encombrées. Les concepteurs qui créent du contenu de réalité mixte n’ont pas besoin de limiter l’expérience directement devant l’utilisateur et dans son affichage immédiat. Si le monde physique autour de l’utilisateur est mappé, toutes ces surfaces doivent être considérées comme un canevas potentiel pour le contenu numérique et les interactions. Une bonne conception des interactions et du contenu au sein d’une expérience doit encourager l’utilisateur à se déplacer dans son espace, en orientant son attention vers le contenu clé et en aidant à voir le plein potentiel de la réalité mixte.
La technique la plus importante pour encourager le déplacement et l’exploration au sein d’une application consiste peut-être à permettre aux utilisateurs de s’adapter à l’expérience. Accordez aux utilisateurs une courte période de temps « sans tâche » avec l’appareil. Cela peut être aussi simple que de placer un objet dans l’espace et de laisser les utilisateurs se déplacer autour de lui ou de raconter une introduction à l’expérience. Cette fois-ci doit être exempte de tâches critiques ou de mouvements spécifiques tels que le tapage aérien. L’objectif est de permettre aux utilisateurs de s’adapter à l’affichage du contenu via l’appareil avant d’exiger une interactivité ou de progresser dans l’application. Cela est particulièrement important pour les utilisateurs pour la première fois, car ils sont à l’aise de voir du contenu à travers le cadre holographique et la nature des hologrammes.
Objets volumineux
Souvent, le contenu qu’une expérience exige, en particulier le contenu réel, est plus grand que le cadre holographique. Les objets qui ne peuvent normalement pas tenir dans le cadre holographique doivent être réduits pour s’adapter à leur introduction initiale (soit à une plus petite échelle, soit à une distance). La clé consiste à permettre aux utilisateurs de voir la taille complète de l’objet avant que l’échelle submerge le cadre. Par exemple, un éléphant holographique doit être affiché pour qu’il s’intègre entièrement dans le cadre. Cela permet aux utilisateurs de former une compréhension spatiale de la forme globale de l’animal, avant de le dimensionner à l’échelle réelle près de l’utilisateur.
Avec la taille complète de l’objet à l’esprit, les utilisateurs s’attendent à ce qu’ils se déplacent et recherchent des parties spécifiques de cet objet. Dans une expérience avec du contenu immersif, il est utile d’avoir un moyen de faire référence à la taille complète de ce contenu. Par exemple, si l’expérience implique de marcher autour d’un modèle de maison virtuelle, il est utile d’avoir une version de maison de poupée plus petite de l’expérience pour identifier où ils se trouvent à l’intérieur de la maison.
Pour obtenir un exemple de conception d’objets volumineux, consultez Volvo Cars.
De nombreux objets
Les expériences avec de nombreux objets ou composants doivent envisager d’utiliser tout l’espace autour de l’utilisateur pour éviter d’encombrer le cadre holographique directement devant l’utilisateur. Nous vous recommandons de ralentir l’introduction de contenu dans une expérience, en particulier avec les expériences qui prévoient de servir de nombreux objets à l’utilisateur. La clé est de permettre aux utilisateurs de comprendre la disposition du contenu dans l’expérience, ce qui leur permet d’acquérir une compréhension spatiale de ce qui les entoure sous forme de mises à jour de contenu.
Une technique pour y parvenir consiste à fournir des points persistants (également appelés points de repère) dans l’expérience qui ancre le contenu dans le monde réel. Par exemple, un point de repère peut être un objet physique dans le monde réel, tel qu’un tableau où le contenu numérique apparaît, ou un objet numérique, tel qu’un ensemble d’écrans numériques où le contenu apparaît fréquemment. Les objets peuvent également être placés à la périphérie du cadre holographique pour encourager l’utilisateur à rechercher du contenu clé. La découverte de contenu au-delà de la périphérie peut être aidée par des directeurs d’attention.
Placer des objets dans la périphérie peut encourager les utilisateurs à regarder de côté et cela peut être aidé par des directeurs d’attention, comme décrit ci-dessous. Pour plus d’informations sur les considérations relatives aux images holographiques, consultez la documentation relative au confort .
Considérations relatives aux interactions
Comme avec le contenu, les interactions dans une expérience de réalité mixte ne doivent pas se limiter à ce que l’utilisateur peut voir immédiatement. Les interactions peuvent avoir lieu n’importe où dans l’espace réel autour de l’utilisateur. Ces interactions peuvent encourager les utilisateurs à se déplacer et à explorer des expériences.
Directeurs d’attention
L’indication de points d’intérêt ou d’interactions clés peut être cruciale pour faire progresser les utilisateurs dans une expérience. L’attention de l’utilisateur et le mouvement du cadre holographique peuvent être dirigés de manière subtile ou lourde. N’oubliez pas d’équilibrer les directeurs d’attention avec des périodes d’exploration gratuite dans la réalité mixte (en particulier au début d’une expérience) pour éviter d’surcharger l’utilisateur. En général, il existe deux types de directeurs d’attention :
- Directeurs visuels : Le moyen le plus simple de faire savoir à l’utilisateur qu’il doit se déplacer dans une direction spécifique consiste à fournir une indication visuelle. Cela peut être effectué par le biais d’un effet visuel (par exemple, un chemin que l’utilisateur peut suivre visuellement vers la partie suivante de l’expérience) ou même sous la forme de simples flèches directionnelles. Tout indicateur visuel doit être ancré dans l’environnement de l’utilisateur, et non « attaché » au cadre holographique ou au curseur.
- Directeurs audio :le son spatial peut fournir un moyen puissant d’établir des objets dans une scène. Vous pouvez avertir les utilisateurs des objets qui entrent dans une expérience ou diriger l’attention sur un point spécifique de l’espace en déplaçant la vue de l’utilisateur vers les objets clés. L’utilisation de directeurs audio pour guider l’attention de l’utilisateur peut être plus subtile et moins intrusive que les directeurs visuels. Dans certains cas, il peut être préférable de commencer par un directeur audio, puis de passer à un directeur visuel si l’utilisateur ne reconnaît pas l’indicateur. Les directeurs audio peuvent également être associés à des directeurs visuels pour plus d’accentuation.
Commandes, navigation et menus
Les interfaces dans les expériences de réalité mixte sont idéalement associées étroitement au contenu numérique qu’elles contrôlent. Par conséquent, les menus 2D flottants libres ne sont souvent pas idéaux pour l’interaction et peuvent être difficiles pour les utilisateurs avec l’intérieur du cadre holographique. Pour les expériences qui nécessitent des éléments d’interface tels que des menus ou des champs de texte, envisagez d’utiliser une méthode tag-along pour suivre le cadre holographique après un court délai. Évitez de verrouiller le contenu dans le cadre comme un affichage tête haute, car cela peut désorienter l’utilisateur et briser le sentiment d’immersion pour d’autres objets numériques dans la scène.
Vous pouvez également placer des éléments d’interface directement sur le contenu spécifique qu’ils contrôlent, ce qui permet aux interactions de se produire naturellement autour de l’espace physique de l’utilisateur. Par exemple, divisez un menu complexe en parties distinctes, avec chaque bouton ou groupe de contrôles attaché à l’objet spécifique affecté par l’interaction. Pour aller plus loin dans ce concept, envisagez l’utilisation d’objets interagissants.
Ciblage du regard et du regard
Le cadre holographique présente un outil permettant au développeur de déclencher des interactions et d’évaluer où l’attention d’un utilisateur réside. Le regard est l’une des interactions clés sur HoloLens, où le regard peut être associé à des mouvements (par exemple avec des appuis aériens ) ou à la voix (permettant des interactions vocales plus courtes et plus naturelles). Ainsi, le cadre holographique est à la fois un espace d’observation du contenu numérique et d’interaction avec celui-ci. Si l’expérience nécessite l’interaction avec plusieurs objets autour de l’espace de l’utilisateur (par exemple, la sélection multiple autour de l’espace de l’utilisateur avec le regard + mouvement), envisagez d’introduire ces objets dans la vue de l’utilisateur ou de limiter la quantité de mouvement de la tête nécessaire pour promouvoir le confort de l’utilisateur.
Le regard peut également être utilisé pour suivre l’attention de l’utilisateur tout au long d’une expérience et voir quels objets ou parties de la scène l’utilisateur a le plus porté. Cela peut être particulièrement utile pour déboguer une expérience, ce qui permet aux outils analytiques tels que les cartes thermiques de voir où les utilisateurs passent le plus de temps ou manquent certains objets ou interactions. Le suivi du regard peut également fournir un outil puissant pour les animateurs dans les expériences (voir l’exemple Lowe’s Kitchen ).
Si vous souhaitez voir les concepts de conception head and eye tracking en action, case activée notre démonstration vidéo Conception d’hologrammes - Suivi de tête et suivi oculaire ci-dessous :
Cette vidéo a été extraite de l’application HoloLens 2 « Designing Holograms ». Téléchargez et profitez de l’expérience complète ici.
Performances
L’utilisation correcte de l’image holographique est fondamentale pour les expériences de qualité des performances . Un défi technique (et de facilité d’utilisation) courant consiste à surcharger le cadre de l’utilisateur avec du contenu numérique, ce qui entraîne une dégradation des performances de rendu. Envisagez plutôt d’utiliser tout l’espace autour de l’utilisateur pour organiser le contenu numérique, en utilisant les techniques décrites ci-dessus, pour réduire la charge de rendu et garantir une qualité d’affichage optimale.
Exemples
Volvo Cars
Dans l’expérience de salle d’exposition de Volvo Cars, les clients sont invités à découvrir les fonctionnalités d’une nouvelle voiture dans une expérience HoloLens guidée par un associé Volvo. Volvo a fait face à un défi avec le cadre holographique: une voiture pleine taille est trop grande pour être placée juste à côté d’un utilisateur. La solution a été de commencer l’expérience avec un point de repère physique, une table centrale dans la salle d’exposition, avec un modèle numérique plus petit de la voiture placé sur la table. Cela garantit que l’utilisateur voit la voiture complète lorsqu’elle est introduite, ce qui permet un sentiment de compréhension spatiale une fois que la voiture se développe à son échelle réelle plus tard dans l’expérience.
L’expérience de Volvo utilise également des directeurs visuels, créant un effet visuel long du modèle de voiture à petite échelle sur la table jusqu’à un mur dans la salle d’exposition. Cela conduit à un effet de fenêtre magique, montrant la vue complète de la voiture à distance, illustrant d’autres caractéristiques de la voiture à l’échelle réelle. Le mouvement de la tête est horizontal, sans aucune interaction directe de la part de l’utilisateur (au lieu de recueillir des indices visuellement et de la narration de l’expérience de l’associé Volvo).
Lowe’s Kitchen
Une expérience de magasin de Lowe’s invite les clients dans une maquette à grande échelle d’une cuisine afin de présenter diverses opportunités de rénovation comme le montre l’HoloLens. La cuisine du magasin offre une toile de fond physique pour les objets numériques, une toile vierge d’appareils, de comptoirs et d’armoires pour l’expérience de réalité mixte.
Les surfaces physiques jouent le rôle de repères statiques pour que l’utilisateur s’inscre dans l’expérience, comme un associé lowe guide l’utilisateur à travers différentes options de produit et finitions. De cette façon, l’associé peut diriger verbalement l’attention de l’utilisateur vers le « réfrigérateur » ou le « centre de la cuisine » pour présenter du contenu numérique.
Un associé de Lowe utilise une tablette pour guider les clients dans l’expérience HoloLens.
L’expérience de l’utilisateur est gérée, en partie, par une expérience de tablette contrôlée par l’associé de Lowe. Une partie du rôle de l’associé dans ce cas consisterait également à limiter les mouvements excessifs de la tête, en dirigeant son attention en douceur sur les points d’intérêt dans la cuisine. L’expérience de tablette fournit également l’association lowe avec des données de regard sous la forme d’une vue de carte thermique de la cuisine, aidant à comprendre où l’utilisateur habite (par exemple, sur une zone spécifique de armoires) pour lui fournir des conseils de rénovation plus précis.
Pour plus d’informations sur l’expérience Lowe’s Kitchen, consultez la présentation de Microsoft à Ignite 2016.
Fragments
Dans le jeu HoloLens Fragments, votre salon est transformé en scène de crime virtuelle montrant des indices et des preuves, et une salle de réunion virtuelle, où vous parlez avec des personnages qui s’assoient sur vos chaises et s’appuient sur vos murs.
Les fragments ont été conçus pour avoir lieu dans la maison d’un utilisateur, avec des personnages interagissant avec des objets et des surfaces du monde réel.
Lorsque les utilisateurs commencent l’expérience initialement, ils reçoivent une courte période d’ajustement avec peu ou pas d’interaction. Au lieu de cela, ils sont encouragés à regarder autour de lui et à s’orienter et à s’assurer que la salle est correctement mappée pour le contenu interactif du jeu.
Tout au long de l’expérience, les personnages deviennent des points focals et agissent comme des directeurs visuels (des mouvements de tête entre les personnages, se tournant vers le regard ou des mouvements vers des zones d’intérêt). Le jeu s’appuie également sur des signaux visuels plus importants lorsqu’un utilisateur prend trop de temps pour trouver un objet ou un événement et utilise intensivement l’audio spatial (en particulier avec les voix des personnages lors de l’entrée dans une scène).
Destination : Mars
Dans l’expérience Destination: Mars présentée au Kennedy Space Center de la NASA, les visiteurs ont été invités à un voyage immersif à la surface de Mars, guidé par la représentation virtuelle de l’astronaute légendaire Buzz Aldrin.
Un Buzz Aldrin virtuel devient le point focal pour les utilisateurs dans Destination: Mars.
En tant qu’expérience immersive, ces utilisateurs ont été encouragés à regarder autour de lui, en déplaçant leur tête dans toutes les directions pour voir le paysage martien virtuel. Bien que pour assurer le confort des utilisateurs, la narration et la présence virtuelle de Buzz Aldrin ont fourni un point focal tout au long de l’expérience. Cet enregistrement virtuel de Buzz (créé par Mixed Reality Capture Studios de Microsoft) était à taille réelle, dans le coin de la salle, permettant aux utilisateurs de le voir dans une vue presque complète. La narration de Buzz a amené les utilisateurs à se concentrer sur différents points de l’environnement (par exemple, un ensemble de roches martiennes sur le sol ou une chaîne de montagnes au loin) avec des changements de scène spécifiques ou des objets introduits par lui.
Les narrateurs virtuels se tournent pour suivre le mouvement d’un utilisateur, créant ainsi un point focal puissant tout au long de l’expérience.
La représentation réaliste de Buzz a fourni un point focal puissant, avec des techniques subtiles pour tourner Buzz vers l’utilisateur pour se sentir comme s’il était là, vous parler. À mesure que l’utilisateur se déplace sur l’expérience, Buzz se déplace vers vous vers un seuil avant de revenir à un état neutre si l’utilisateur se déplace trop loin de sa périphérie. Si l’utilisateur semble complètement à partir de Buzz (par exemple, pour regarder quelque chose ailleurs dans la scène), puis de retour à Buzz, la position directionnelle du narrateur sera à nouveau axée sur l’utilisateur. De telles techniques procurent un puissant sentiment d’immersion et créent un point focal dans le cadre holographique, réduisant ainsi les mouvements excessifs de la tête et favorisant le confort de l’utilisateur.