Qu’est-ce que la réalité mixte ?What is mixed reality?

Pointer et valider avec des mains sur HoloLens 2

La réalité mixte est le résultat de la fusion du monde physique avec le monde numérique.Mixed reality is the result of blending the physical world with the digital world. Prochaine évolution de l’interaction entre l’utilisateur, l’ordinateur et l’environnement, la réalité mixte permet de donner libre cours à nos imaginations.Mixed reality is the next evolution in human, computer, and environment interaction and unlocks possibilities that before now were restricted to our imaginations. Elle est rendue possible grâce à l’évolution de la vision par ordinateur, de la puissance de traitement graphique, de la technologie d’affichage et des systèmes d’entrée.It is made possible by advancements in computer vision, graphical processing power, display technology, and input systems. Le terme « réalité mixte » a été introduit à l’origine dans un document de 1994 par Paul Milgram et Fumio Kishino, «une taxonomie du visuel de la réalité mixte » s’affiche.The term mixed reality was originally introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." Leur document a introduit le concept de continuum de virtualisationet s’est concentré sur la manière dont la catégorisation de taxonomie appliquée s’affiche.Their paper introduced the concept of the virtuality continuum, and focused on how the categorization of taxonomy applied to displays. Depuis, l’application de la réalité mixte va au-delà des affichages.Since then, the application of mixed reality goes beyond displays. Il comprend également les entrées environnementales, le son spatial et l’emplacement.It also includes environmental input, spatial sound, and location.

le spectre de la réalité mixteThe mixed reality spectrum
Image : la réalité mixte est le résultat de la fusion du monde physique avec l’univers numérique.Image: Mixed reality is the result of blending the physical world with the digital world.



Entrée et perception environnementalesEnvironmental input and perception

Au cours des dernières décennies, la relation entre les entrées de l’homme et de l’ordinateur a été bien explorée.Over the past several decades, the relationship between human and computer input has been well explored. Il a même une discipline largement étudiée appelée interaction des ordinateurs humains ou HCI.It even has a widely studied discipline known as human computer interaction or HCI. L’entrée humaine s’effectue par le biais de différents moyens, y compris les claviers, les souris, les fonctions tactiles, l’encre, la voix et même le suivi squelettique Kinect.Human input happens through a variety of means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

Les avancées dans les capteurs et le traitement sont une nouvelle zone d’entrée d’ordinateur à partir d’environnements.Advancements in sensors and processing are giving rise to a new area of computer input from environments. L’interaction entre les ordinateurs et les environnements est une compréhension ou une perceptionefficace de l’environnement.The interaction between computers and environments is effectively environmental understanding or perception. Par conséquent, les noms d’API dans Windows qui révèlent des informations environnementales sont appelés des API de perception.Hence the API names in Windows that reveal environmental information are called the perception APIs. Les entrées environnementales capturent des éléments tels que la position d’une personne dans le monde (par exemple, le suivi des têtes), les surfaces et les limites (par exemple, le mappage spatial et la compréhension des scènes), l’éclairage ambiant, le son ambiant, la reconnaissance d’objets et l’emplacement.Environmental input captures things like a person's position in the world (e.g. head tracking), surfaces and boundaries (e.g. spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


diagramme de Venn montrant les interactions entre les ordinateurs, les êtres humains et les environnementsVenn diagram showing interactions between computers, humans and environments
Image
: les interactions entre les ordinateurs, les êtres humains et les environnements.

Image: The interactions between between computers, humans and environments.


À présent, la combinaison de la totalité dutraitement des ordinateurs, de l’entrée humaine et de l’environnement d’entrée, définit la possibilité de créer de véritables expériences de réalité mixte.Now, the combination of all three--computer processing, human input, and environmental input--sets the opportunity to create true mixed reality experiences. Le déplacement dans le monde physique peut se traduire par le mouvement dans le monde numérique.Movement through the physical world can translate to movement in the digital world. Les limites du monde physique peuvent influencer l’expérience des applications, telles que la lecture du jeu, dans le monde numérique.Boundaries in the physical world can influence application experiences, such as game play, in the digital world. Sans entrée environnementale, les expériences ne peuvent pas être mélangées entre les réalités physiques et numériques.Without environmental input, experiences cannot blend between physical and digital realities.



Le spectre de la réalité mixteThe mixed reality spectrum

Étant donné que la réalité mixte fusionne des mondes physiques et numériques, ces deux réalités définissent les extrémités polaires d’un spectre appelé continuum de virtualisation.Since mixed reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. Pour plus de simplicité, nous faisons référence à ceci comme le spectre de la réalité mixte.For simplicity, we refer to this as the mixed reality spectrum. Sur le côté gauche, nous avons une réalité physique dans laquelle nous avons des êtres humains ; sur le côté droit, nous avons la réalité numérique correspondante.On the left-hand side we have physical reality in which we, humans, exist; on the right-hand side we have the corresponding digital reality.



Augmentation et réalité virtuelleAugmented vs. virtual reality

La plupart des téléphones portables sur le marché n’ont pas de capacités de compréhension de l’environnement.Most mobile phones on the market today have little to no environmental understanding capabilities. Ainsi, les expériences qu’ils offrent ne peuvent pas se mélanger entre les réalités physiques et numériques.Thus the experiences they offer cannot mix between physical and digital realities. Les expériences qui superposent des graphiques sur les flux vidéo du monde physique sont une réalité augmentée.The experiences that overlay graphics on video streams of the physical world are augmented reality. Les expériences qui occultait votre vue pour présenter une expérience numérique sont la réalité virtuelle.The experiences that occlude your view to present a digital experience are virtual reality. Comme vous pouvez le voir, les expériences activées entre ces deux extrêmes sont la réalité mixte:As you can see, the experiences enabled between these two extremes is mixed reality:

  • En commençant par le monde physique, en plaçant un objet numérique, tel qu’un hologramme, comme s’il était vraiment là.Starting with the physical world, placing a digital object, such as a hologram, as if it was really there.
  • À partir de l’univers physique, une représentation numérique d’une autre personne (un avatar) indique l’emplacement où ils se trouvaient lors de la sortie des notes.Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. En d’autres termes, les expériences qui représentent la collaboration asynchrone à différents moments.In other words, experiences that represent asynchronous collaboration at different points in time.
  • À partir d’un monde numérique, les limites physiques du monde physique, telles que les murs et les meubles, apparaissent numériquement dans l’expérience pour aider les utilisateurs à éviter les objets physiques.Starting with a digital world, physical boundaries from the physical world, such as walls and furniture, appear digitally within the experience to help users avoid physical objects.

le spectre de la réalité mixteThe mixed reality spectrum
Image : le spectre de la réalité mixteImage: The mixed reality spectrum


La plupart des offres de réalité et de réalité virtuelle disponibles aujourd’hui représentent une très petite partie de ce spectre.Most augmented reality and virtual reality offerings available today represent a very small part of this spectrum. Ils sont, toutefois, des sous-ensembles du plus grand spectre de réalité mixte.They are, however, subsets of the larger mixed reality spectrum. Windows 10 est conçu en tenant compte de l’ensemble du spectre et permet de fusionner des représentations numériques de personnes, de lieux et d’objets dans le monde réel.Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Appareils et expériencesDevices and experiences

Il existe deux types principaux d’appareils qui proposent des expériences Windows Mixed Reality :There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. Appareils holographiques.Holographic devices. Celles-ci sont caractérisées par la capacité de l’appareil à placer du contenu numérique dans le monde réel comme s’il existait vraiment.These are characterized by the device's ability to place digital content in the real world as if it were really there.
  2. Périphériques immersifs.Immersive devices. Celles-ci sont caractérisées par la capacité de l’appareil à créer un sens de « présence » : masquer le monde physique et le remplacer par une expérience numérique.These are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
CaractéristiqueCharacteristic Appareils holographiquesHolographic devices Appareils immersifsImmersive devices
Exemple d’appareilExample device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey +Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
AffichageDisplay Voir affichage.See-through display. Permet à l’utilisateur de voir l’environnement physique tout en portant le casque.Allows user to see the physical environment while wearing the headset. Affichage opaque.Opaque display. Bloque l’environnement physique tout en portant le casque.Blocks out the physical environment while wearing the headset.
TrésorerieMovement Déplacement complet à six degrés de liberté, à la fois pour la rotation et la translation.Full six-degrees-of-freedom movement, both rotation and translation. Déplacement complet à six degrés de liberté, à la fois pour la rotation et la translation.Full six-degrees-of-freedom movement, both rotation and translation.

Notez qu’un appareil est connecté à un PC distinct (via un câble USB ou un réseau Wi-Fi) ou qu’il est attaché à un autre ordinateur (à l’aide d’un câble USB ou Wi-Fi) qui ne reflète pas si un appareil est holographique ou immersif.Note, whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) does not reflect whether a device is holographic or immersive. En fait, les fonctionnalités qui améliorent la mobilité conduisent à de meilleures expériences, et les appareils holographiques et immersifs peuvent être attachés ou déattachés.Certainly, features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

La progression technologique est celle qui a permis l’expérience de réalité mixte.Technological advancement is what has enabled mixed reality experiences. Aucun appareil n’est actuellement capable d’exécuter des expériences sur tout le spectre.There are no devices today that can run experiences across the entire spectrum. Toutefois, Windows 10 offre une plateforme de réalité mixte commune pour les fabricants de périphériques et les développeurs.However, Windows 10 provides a common mixed reality platform for both device manufacturers and developers. Les appareils actuels peuvent prendre en charge une plage spécifique dans le spectre de la réalité mixte.Devices today can support a specific range within the mixed reality spectrum. Au fil du temps, de nouveaux appareils vont augmenter cette plage.Over time, new devices will expand that range. À l’avenir, les appareils holographiques deviendront plus immersifs et les appareils immersifs seront plus holographiques.In the future, holographic devices will become more immersive, and immersive devices will become more holographic.


types d’appareils dans le spectre de la réalité mixteDevice types in the mixed reality spectrum
Image : où des appareils existent sur le spectre de la réalité mixteImage: Where devices exist on the mixed reality spectrum

Souvent, il est préférable de réfléchir au type d’expérience qu’une application ou un développeur de jeux souhaite créer.Often, it is best to think what type of experience an application or game developer wants to create. En général, l’expérience cible un point ou une partie spécifique sur le spectre.The experiences will typically target a specific point or part on the spectrum. Les développeurs doivent ensuite prendre en compte les fonctionnalités des appareils qu’ils souhaitent cibler.Then, developers should consider the capabilities of devices they want to target. Par exemple, les expériences qui reposent sur le monde physique s’exécuteront mieux sur HoloLens.For example, experiences that rely on the physical world will run best on HoloLens.

  • Vers la gauche (quasi-réalité physique).Towards the left (near physical reality). Les utilisateurs restent présents dans leur environnement physique et ne pensent pas qu’ils ont quitté cet environnement.Users remain present in their physical environment and are never made to believe they have left that environment.
  • Au milieu (réalité entièrement mixte).In the middle (fully mixed reality). Ces expériences fusionnent le monde réel et le monde numérique.These experiences blend the real world and the digital world. Les utilisateurs qui ont vu le film Jumanji peuvent concilier la manière dont la structure physique de la maison où l’histoire a eu lieu a été mélangée à un environnement de jungle.Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • Vers la droite (presque Digital Reality).Towards the right (near digital reality). Les utilisateurs bénéficient d’un environnement entièrement numérique et ignorent ce qui se passe dans l’environnement physique qui les entoure.Users experience a completely digital environment, and are unaware of what occurs in the physical environment around them.

Articles associésSee also