Étude de cas - La poursuite de l’informatique plus personnelle
La création des produits aujourd’hui met en lumière les opportunités de demain. Les solutions fournies par ces produits révèlent ce qui est nécessaire pour progresser. Avec la réalité mixte, cela est particulièrement vrai : des insights significatifs proviennent de la prise en main d’un travail réel : appareils réels, clients réels, problèmes réels.
Chez Microsoft, je fais partie de l’équipe de conception qui aide les partenaires d’entreprise à créer des expériences pour leur entreprise à l’aide de Windows Mixed Reality. Au cours de la dernière année, notre équipe s’est concentrée sur HoloLens et a compris comment l’appareil holographique phare de Microsoft peut apporter de la valeur aux clients d’aujourd’hui. Travaillant en étroite collaboration avec les concepteurs et les développeurs de ces sociétés, notre équipe se concentre sur la découverte de solutions techniquement irréalisables, financièrement peu pratiques ou autrement impossibles sans HoloLens.
HoloAnatomy de Case Western Reserve University
La création de ces solutions aide les équipes internes de Microsoft à se préparer à la prochaine génération d’informatique. L’apprentissage de la façon dont les individus et les entreprises interagissent avec des technologies de base telles que la réalité mixte, la voix et l’IA permet à Microsoft de créer de meilleurs appareils, plateformes et outils pour les développeurs. Si vous êtes un concepteur ou un développeur explorant cet espace, il est essentiel de comprendre ce que nos équipes apprennent des partenaires d’aujourd’hui pour se préparer aux opportunités de réalité mixte de demain.
L’ambition de Microsoft pour la réalité mixte
Nous vivons nos vies entre deux mondes : le physique et le numérique. Les deux ont des points forts fondamentaux que nous exploitons pour augmenter et étendre nos capacités. Nous pouvons parler en personne avec un ami, en utilisant nos sens physiques pour comprendre des choses comme le langage corporel, ou nous pouvons améliorer notre capacité à parler en discutant par vidéo avec un ami à des kilomètres de distance. Jusqu’à présent, ces deux mondes, et leurs forces respectives, ont été fondamentalement séparés.
Le monde physique est un monde d’atomes et de physique. Nous utilisons nos sens pour prendre des décisions, en tirant parti des années de comportement appris pour interagir avec des objets et des personnes dans nos environnements. Malgré la facilité de ces interactions, nous sommes limités par nos capacités physiques et les lois de la nature.
Le monde numérique est un monde de bits et de logique. Les calculs sont effectués instantanément, tandis que les informations peuvent être distribuées sans effort. Malgré la vitesse et la circulation des informations, les interactions sont trop souvent limitées aux petits écrans, aux entrées abstraites et aux flux bruyants.
HoloStudio
Et si nous pouvions combiner les avantages du monde physique et numérique ? Il s’agit de la pierre angulaire des expériences à travers le spectre de la réalité mixte : un support où le physique et le numérique coexistent et interagissent en toute transparence. La combinaison de ces mondes crée une nouvelle base pour interagir plus naturellement avec la technologie , une évolution de l’informatique personnelle.
Le spectre de la réalité mixte a explosé à mesure que les développeurs ont commencé à explorer les opportunités d’immersion et de présence. Amener les utilisateurs dans le monde numérique avec des expériences immersives (réalité virtuelle) et créer des objets numériques dans le monde physique avec des expériences holographiques (réalité augmentée). Mais quels sont les avantages de la cartographie du monde physique au monde numérique ? Que se passe-t-il lorsque nous donnons des yeux aux ordinateurs pour voir ?
La technologie de vision de caméra fondamentale derrière les hologrammes agit comme une paire d’yeux pour que l’ordinateur voit l’environnement autour de vous : les objets dans le monde, les gens autour de vous, les changements au fur et à mesure qu’ils se produisent. Une compréhension numérique de votre contexte dans le monde physique. Cela conduit à une quantité énorme d’informations, dont nous commençons tout juste à comprendre les implications.
Technologies de base qui culminent
L’informatique est trop souvent une chose tangible. Saisir nos appareils pour leur dire qui nous sommes et ce que nous voulons. Contorsions notre pensée et alignons ce que nous disons pour correspondre à ce que nous pensons que l’ordinateur doit entendre.
La promesse de la réalité mixte, en particulier dans le monde réel avec des expériences holographiques, est de réduire la charge d’interaction avec la technologie. Réduction de la charge cognitive à mesure que les utilisateurs parcourent les couches d’abstraction inhérentes à l’informatique d’aujourd’hui. Comment pouvons-nous concevoir des expériences qui non seulement tirent parti de la compréhension contextuelle, mais facilitent également la création d’insights et l’action ? Deux technologies contributrices tentent également de résoudre ce problème :
- La voix, en termes de parole et de conversation, permet aux utilisateurs de communiquer avec les ordinateurs par des moyens plus naturels : répondre aux bots par le biais du texte ou émettre des commandes sur du matériel conversationnel.
- L’IA alimente les expériences qui distillent des insights à partir de jeux de données de plus en plus complexes. Bien que l’IA soit un sujet énorme, les progrès récents ont fourni les bases pour les appareils qui s’appuient sur la vision par ordinateur, des assistants numériques plus naturels et des recommandations d’actions aux utilisateurs.
La réalité mixte fournit un moyen de combiner ces technologies dans une expérience utilisateur unique. La voix devient une méthode puissante et naturelle d’entrée lors du port d’un casque holographique. L’IA agit comme un chiffrement critique pour contextualiser les énormes quantités d’informations qui connectent les mondes physique et numérique. C’est pourquoi Sataya Nadella fait référence à HoloLens comme « l’ordinateur ultime », il s’agit d’un appareil culminant pour trois technologies de base. Une plateforme permettant aux humains d’interagir plus facilement avec la complexité croissante des appareils et des services.
Moins d’interface dans votre visage
Un appareil culminant qui connecte le monde physique au monde numérique nous permet de concevoir des expériences qui s’adaptent plus naturellement, sans abstractions fastidieuses. Considérez les expériences que vous avez créées : lorsque les barrières de l’abstraction sont supprimées, quelle est la partie de votre interface restante ? Quelles parties de votre flux d’application changent lorsque vous connaissez l’utilisateur et son contexte ? Combien de menus et de boutons reste-t-il ?
Par exemple, pensez à des expériences partagées dans la réalité mixte comme l’outil OnSight du Jet Propulsion Laboratory de la NASA conçu pour les scientifiques. Au lieu de construire un système pour examiner les données martiennes (en faisant abstraction des données sur des écrans ou des écrans), ils ont amené les scientifiques à l’intérieur des données, les plaçant efficacement sur la surface de Mars pendant qu’ils collaboraient.
NASA/JPL OnSight
Au lieu de trouver le bouton pour attirer l’attention sur une certaine géologie martienne, les scientifiques peuvent le pointer directement. Pas de menus, pas de stylets, pas de courbe d’apprentissage pour utiliser l’outil efficacement. En tirant parti de nos capacités connues du monde physique, des interactions plus naturelles dans la réalité mixte peuvent contourner les connaissances techniques approfondies dans les outils les plus avancés de l’industrie.
De même, la voix et l’IA peuvent étendre l’interaction naturelle dans une expérience comme celle-ci. Lorsque les assistants numériques peuvent « voir » le monde qui nous entoure, les conversations se sentiront moins fastidieuses. Un bot dans l’outil de la NASA peut extraire le contexte des scientifiques qui confèrent à la géologie martienne, agissant comme une source d’information prête (et conversationnelle) lorsque les scientifiques se posent des gestes et posent des questions sur « ceci » ou « cela ». Un ordinateur qui sait que votre contexte est prêt à accéder aux informations qui vous conviennent, par le biais d’une méthode d’interaction la plus adaptée à votre contexte.
S’appuyant sur une base
Dans ce monde d’expériences contextuelles, il est essentiel de répondre à la mobilité de l’utilisateur. Se déplaçant de manière fluide entre les appareils et les services, avec des contextes hautement personnalisés, les utilisateurs parcourent le monde physique en toute transparence, créant ainsi un défi de plateforme massif . Lorsque le monde physique devient un point de terminaison numérique, l’interopérabilité règne en maître.
« Réunir l’univers numérique et le monde physique libérera le potentiel humain... permettre à chaque personne et organization sur la planète d’en faire plus. »
— Satya Nadella
Windows Mixed Reality est un effort pour créer une plateforme pour un écosystème d’appareils, permettant aux développeurs de créer des expériences immersives, abordables et compatibles pour le plus grand public possible. L’avenir ne sera pas limité à un seul fabricant, et encore moins à un seul appareil. Casques, appareils mobiles, PC, accessoires... toutes ces choses physiques doivent interagir (ainsi que les éléments numériques tels que les graphiques et les services) via une plateforme sous-jacente pour tenir avec succès la promesse de la réalité mixte.
Concevoir pour les expériences de demain d’aujourd’hui
Chacune des technologies de base derrière cette nouvelle classe d’expériences permet aux concepteurs et aux développeurs de créer des expériences attrayantes et réussies aujourd’hui. En réduisant l’abstraction, nous pouvons interagir plus directement avec le monde numérique, ce qui nous permet de concevoir de manière à augmenter et à amplifier les capacités humaines. La technologie vocale (par le biais de bots et d’assistants numériques comme Cortana) permet aux utilisateurs d’effectuer des conversations et des scénarios de plus en plus complexes, tandis que la technologie IA (par le biais d’outils tels que Microsoft Cognitive Services) amène les entreprises à repenser la façon dont les utilisateurs interagiront avec tout, des réseaux sociaux à la gestion de la chaîne logistique.
Ces types d’interactions s’appuient à la fois sur une nouvelle classe d’outils de conception et sur la prise en charge fondamentale de la plateforme. La création de ces outils et la création de cette plateforme pour les appareils et les services reposent sur la compréhension de la façon dont les expériences de demain résoudront des problèmes réels et tangibles. Nous avons identifié cinq domaines où nos partenaires d’entreprise ont fourni des solutions précieuses et où nous pensons que l’investissement continu nous aidera à nous préparer à cette nouvelle classe d’informatique.
Domaines d’opportunité
La dernière année de partenariats de développeurs a découvert des domaines d’opportunités qui résonnent avec les clients et créent des solutions d’entreprise réussies. Des scientifiques et des techniciens aux concepteurs et aux clients, cinq domaines d’opportunité ont émergé où les partenaires Microsoft trouvent de la valeur avec la réalité mixte. Ces domaines fournissent déjà des insights massifs sur les besoins futurs des plateformes comme Windows Mixed Reality et peuvent vous aider à comprendre l’impact de ces nouvelles expériences sur les façons dont nous apprenons, collaborons, communiquons et créons.
1. Création et conception
L’une des principales opportunités de la réalité mixte est la possibilité de voir et de manipuler des conceptions 3D en temps réel, dans un environnement réel, à une taille et à une échelle réelles. Les outils de conception et de prototypage ont échappé aux limites des écrans, revenant à un domaine de conception habituellement réservé aux matériaux physiques tangibles comme le bois et l’argile.
Autodesk a créé une expérience de réalité mixte visant à améliorer la collaboration tout au long du processus de développement de produits. La possibilité pour les ingénieurs et les concepteurs d’examiner et de critiquer des modèles 3D dans leur environnement leur a permis d’itérer sur une conception en temps réel. Cela a non seulement permis un prototypage plus rapide, mais a laissé place à des décisions plus confiantes dans le processus.
De telles expériences mettent en évidence le besoin d’expériences de collaboration de base, la possibilité pour les utilisateurs de voir et de communiquer avec des objets partagés. L’objectif d’Autodesk est d’étendre le produit des professionnels du design et des ingénieurs aux artistes numériques, étudiants et amateurs. À mesure que le niveau d’expertise 3D des utilisateurs diminue, la capacité à interagir avec les objets devient naturellement cruciale.
2. Assemblage et fabrication
De l’augmentation de la spécialisation dans les ateliers aux progrès rapides de la gestion de la chaîne d’approvisionnement, un accès fluide aux informations pertinentes est essentiel. La réalité mixte offre la possibilité de synthétiser des jeux de données complets et de fournir des affichages visuels qui facilitent la navigation et les opérations. Il s’agit souvent de domaines de niche hautement techniques où l’intégration à des jeux de données et services personnalisés est essentielle pour réduire la complexité et fournir une expérience réussie.
Le fabricant d’ascenseursKrupp a créé une expérience pour les techniciens de service d’ascenseur, leur permettant de visualiser et d’identifier les problèmes en préparation d’un travail. Avec une équipe de plus de 24 000 techniciens, des appareils comme HoloLens permettent à ces techniciens d’avoir un accès à distance et mains libres à des informations techniques et d’experts.
Krupp souligne ici un concept puissant selon lequel des informations critiques et contextuellement pertinentes peuvent être fournies rapidement aux utilisateurs. À mesure que nous nous attendons à une nouvelle classe d’expériences, il sera essentiel de distiller de grandes quantités d’informations possibles dans du contenu pertinent pour l’utilisateur.
3. Formation et développement
La représentation d’objets et d’informations en trois dimensions offre de nouvelles façons d’expliquer des scénarios visuellement et avec une compréhension spatiale. La formation devient un domaine clé d’opportunité, tirant parti de la capacité à représenter numériquement des objets complexes énormes (comme des moteurs à réaction) pour créer des simulations d’entraînement pour une fraction du coût d’une solution physique.
Japan Airlines expérimente des programmes conceptuels pour fournir une formation supplémentaire aux mécaniciens moteurs et aux équipages de conduite. Les gros moteurs à réaction (en taille et en complexité) peuvent être représentés en 3D, ignorant les limitations du monde physique pour déplacer et faire pivoter des objets virtuels autour des stagiaires, ce qui leur permet de voir comment fonctionnent les composants de la compagnie aérienne en temps réel.
La formation avec des composants virtuels (et la réduction du besoin de simulateurs d’entraînement physiques coûteux) est un moyen clé de fournir de la valeur dans les scénarios d’entreprise d’aujourd’hui. À mesure que ce scénario se développe (comme nous l’avons vu dans des domaines comme la médecine), la vision par ordinateur devient particulièrement importante pour reconnaître des objets uniques dans l’environnement, comprendre le contexte de l’utilisateur et fournir des instructions pertinentes.
4. Communication et compréhension
Les interactions entre deux personnes (que les deux participants soient dans des appareils de réalité mixte ou sur un PC ou un téléphone traditionnel) peuvent fournir à la fois un sentiment d’immersion dans un nouvel environnement ou un sentiment de présence lors de la communication virtuelle avec d’autres personnes. Dans les scénarios d’entreprise, ce sentiment de présence est une aubaine pour les équipes mobiles, ce qui permet d’améliorer la compréhension des projets et de réduire le besoin de déplacement.
Le fabricant de technologies commerciales Trimble a développé une solution pour les professionnels de l’architecture et de la construction afin de collaborer et d’examiner le travail pendant le développement du bâtiment. Les professionnels peuvent s’immerger à distance dans un projet pour discuter des progrès ou être sur place et examiner les plans tels qu’ils le feraient (sous leur forme finale) dans l’environnement qui les entoure.
Les expériences partagées sont un domaine d’investissement majeur pour Microsoft, avec des applications comme Skype qui explorent de nouvelles façons de représenter les humains dans l’espace numérique. Les équipes explorent les enregistrements vidéo volumétriques, les avatars et les récréations de l’espace physique d’un participant.
5. Divertissement et engagement
La nature de l’immersion dans la réalité mixte peut avoir un impact considérable sur la façon dont les clients s’engagent dans le divertissement et le marketing. Les artistes et les studios de divertissement ont exploré la réalité mixte comme un moyen attrayant pour la narration, tandis que les entreprises explorent les implications pour le marketing de marque. Des démonstrations de produits dans les salles d’exposition privées aux pièces de vision racontées lors d’expositions commerciales, le contenu peut être livré de manière plus immersive et personnalisée.
Volvo a créé une expérience pour présenter ses derniers modèles de voiture (plongeant les utilisateurs dans différentes couleurs et configurations) tout en mettant en évidence la façon dont les capteurs avancés fonctionnent pour créer une meilleure expérience de conduite plus sûre. Emmener les clients à travers une expérience de salle d’exposition guidée permet à Volvo de raconter l’histoire derrière la caractéristique de la voiture de pointe tout en offrant une image mémorable de l’histoire de leur marque.
Le divertissement est à bien des égards repousser les limites de la réalité mixte (en particulier la réalité virtuelle) et peut-être le plus convaincant dans cet espace est la façon dont il interagira avec le domaine d’opportunité précédent : la communication et la compréhension. Avec plusieurs utilisateurs, chacun avec sa propre variante d’appareils et de méthodes d’interface, vous pouvez imaginer un vaste avenir de personnalisation dans le domaine du divertissement.
Commencer à créer dès aujourd’hui
Il est difficile de dire à quoi ressemblera l’avenir lointain de la réalité mixte pour les consommateurs, mais il est essentiel de se concentrer sur des problèmes uniques, de se familiariser avec du matériel réel et d’expérimenter aujourd’hui l’intersection entre la réalité mixte, la voix et l’IA. Microsoft ne fait que commencer avec la réalité mixte, mais tirer parti des succès réalisés par les entreprises d’aujourd’hui vous aidera à créer les expériences de demain.
Point de contrôle de découverte suivant
Si vous suivez le parcours de découverte que nous avons établi, vous êtes au cœur de l’exploration des concepts de base de la réalité mixte. À partir de là, vous pouvez passer au sujet suivant :
Vous pouvez également vous lancer dans Mixed Reality expériences principales :
À propos de l’auteur
 |
Mark Vitazko Designer @Microsoft d’expérience utilisateur |