Qu’est-ce que la réalité mixte ?What is Mixed Reality?

Pointer et valider avec les mains sur HoloLens 2

Fusion des mondes physiques et numériques, la réalité mixte rend possible l’interaction entre l’homme, l’ordinateur et l’environnement.Mixed Reality is a blend of physical and digital worlds, unlocking the links between human, computer, and environment interaction. Cette nouvelle réalité est basée sur les progrès réalisés dans les domaines de la vision par ordinateur, du traitement graphique, de la technologie d’affichage et des systèmes d’entrée.This new reality is based on advancements in computer vision, graphical processing power, display technology, and input systems. Toutefois, le terme réalité mixte a été introduit en 1994 par Paul Milgram et Fumio Kishino dans un document intitulé « A Taxonomy of Mixed Reality Visual Displays ».However, the term Mixed Reality was introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." Ce document explorait le concept de « continuum de virtualité » et l’application de la catégorisation taxonomique aux écrans.Their paper explored the concept of the virtuality continuum and the categorization of taxonomy applied to displays. Depuis, l’application de la réalité mixte s’étend bien au-delà des écrans pour inclure les domaines suivants :Since then, the application of Mixed Reality has gone beyond displays to include:

  • Entrée environnementaleEnvironmental input
  • Son spatialSpatial sound
  • Localisations et positionnement dans les espaces réels et virtuelsLocations and positioning in both real and virtual spaces

Image du spectre de la réalité mixteThe Mixed Reality spectrum image
Image : La réalité mixte est le résultat de la fusion du monde physique et du monde numérique.Image: Mixed Reality is the result of blending the physical world with the digital world.



Interactions avec l’environnement et perception de l’environnementEnvironmental input and perception

Au cours des dernières décennies, la relation entre les entrées humaines et celles des ordinateurs a continué, donnant lieu à une discipline appelée interaction homme-machine ou IHM.Over the past several decades, exploration into the relationship between human and computer input has continued, leading to the discipline known as human computer interaction or HCI. Les entrées humaines se font par divers moyens : clavier, souris, toucher, écriture manuscrite, voix et même suivi du squelette avec Kinect.Human input happens through different means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

Les avancées dans les capteurs et le traitement créent des types d’entrée d’ordinateur qui viennent de l’environnement.Advancements in sensors and processing are creating new areas of computer input from environments. L’interaction entre un ordinateur et un environnement réside en fait dans la compréhension ou la perception de cet environnement. C’est pourquoi les API dans Windows qui révèlent des informations environnementales sont appelées API de perception.The interaction between computers and environments is environmental understanding or perception, which is why the API names in Windows that reveal environmental information are called the perception APIs. Les entrées environnementales capturent des éléments tels que la position d’une personne dans le monde (suivi de la tête), les surfaces et les limites (cartographie spatiale et compréhension des scènes), l’éclairage ambiant, le son environnemental, la reconnaissance des objets et la localisation.Environmental input captures things like a person's position in the world (head tracking), surfaces, and boundaries (spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


Diagramme de Venn montrant les interactions entre les ordinateurs, les humains et les environnementsVenn diagram showing interactions between computers, humans and environments

Image : Interactions entre les ordinateurs, les humains et les environnements.

Image: The interactions between computers, humans, and environments.


La combinaison de ces trois éléments (traitement informatique, entrées humaines et entrées environnementales) permet la création de véritables expériences de réalité mixte.The combination of all three - computer processing, human input, and environmental input - sets the stage for creating true Mixed Reality experiences. Un mouvement dans le monde physique se traduit par un mouvement dans le monde numérique.Movement through the physical world translates to movement in the digital world. Les limites présentes dans le monde physique influencent des expériences applicatives, notamment la jouabilité, dans le monde numérique.Boundaries in the physical world influence application experiences, such as game play, in the digital world. Sans entrée environnementale, les expériences ne peuvent pas fusionner les réalités physique et numérique.Without environmental input, experiences can't blend between physical and digital realities.



Spectre de réalité mixteThe Mixed Reality spectrum

Étant donné que la réalité mixte fusionne les mondes physique et numérique, ces deux réalités définissent les deux extrémités d’un spectre appelé « continuum de virtualité ».Since Mixed Reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. Pour désigner cet ensemble de réalités, nous parlons de spectre de réalité mixte.We refer to the array of realities as the Mixed Reality spectrum. À gauche se trouve la réalité physique dans laquelle nous, humains, existons.On the left-hand side, we have the physical reality that we as humans exist in. À droite se trouve la réalité numérique correspondante.On the right-hand side, we have the corresponding digital reality.



Réalité augmentée et réalité virtuelleAugmented vs. virtual reality

Aujourd’hui, la plupart des téléphones portables du marché sont dotés de fonctionnalités de compréhension environnementale limitées voire inexistantes.Most mobile phones on the market today have little to no environmental understanding capabilities. Ils ne proposent pas d’expériences combinant réalité physique et réalité numérique.The experiences they offer can't mix physical and digital realities. Les expériences qui superposent des graphiques sur des flux vidéo du monde physique sont du domaine de la réalité augmentée.The experiences that overlay graphics on video streams of the physical world are augmented reality. Les expériences qui obstruent votre vue pour présenter une expérience numérique sont du domaine de la réalité virtuelle.The experiences that occlude your view to present a digital experience are virtual reality. Les expériences issues de la combinaisons de la réalité augmentée et de la réalité virtuelle forment la réalité mixte :The experiences enabled between augmented and virtual reality form Mixed Reality:

  • À partir du monde physique, placer un objet numérique, comme un hologramme, et le faire apparaître comme s’il existait.Starting with the physical world, placing a digital object, such as a hologram, as if it was there.
  • À partir du monde physique, créer une représentation numérique d’une autre personne (avatar) et montrer son emplacement quand elle laisse des notes.Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. En d’autres termes, des expériences qui représentent une collaboration asynchrone à différents moments.In other words, experiences that represent asynchronous collaboration at different points in time.
  • À partir d’un monde numérique, faire apparaître numériquement dans l’expérience les limites du monde physique, comme les murs et les meubles, pour aider les utilisateurs à éviter les objets physiques.Starting with a digital world, physical boundaries from the physical world like walls and furniture appear digitally within the experience to help users avoid physical objects.

Spectre de la réalité mixteThe Mixed Reality spectrum
Image : Spectre de la réalité mixteImage: The Mixed Reality spectrum


La plupart des offres de réalité augmentée et de réalité virtuelle disponibles aujourd’hui représentent une petite partie de ce spectre et sont considérées comme des sous-ensembles du plus vaste spectre de réalité mixte.Most augmented reality and virtual reality offerings available today represent a small part of this spectrum and are considered subsets of the larger Mixed Reality spectrum. Windows 10 est conçu pour prendre en compte l’ensemble du spectre et fusionner les représentations numériques de personnes, de lieux et d’objets avec le monde réel.Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Appareils et expériencesDevices and experiences

Deux principaux types d’appareils proposent des expériences Windows Mixed Reality :There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. Les appareils holographiques se caractérisent par leur capacité à placer du contenu numérique dans le monde réel comme s’il existait.Holographic devices are characterized by the device's ability to place digital content in the real world as if it were there.
  2. Les appareils immersifs se caractérisent par leur capacité à créer un sens de « présence » en cachant le monde physique et en le remplaçant par une expérience numérique.Immersive devices are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
CaractéristiqueCharacteristic Appareils holographiquesHolographic devices Appareils immersifsImmersive devices
Exemple d’appareilExample device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
AffichageDisplay Écran transparent.See-through display. Permet à l’utilisateur de voir l’environnement physique tout en portant le casque.Allows user to see the physical environment while wearing the headset. Écran opaque.Opaque display. Bloque l’environnement physique de l’utilisateur portant le casque.Blocks out the physical environment while wearing the headset.
MovementMovement Mouvement complet avec six degrés de liberté (6DoF), en rotation et translation.Full six-degrees-of-freedom movement, both rotation and translation. Mouvement complet avec six degrés de liberté (6DoF), en rotation et translation.Full six-degrees-of-freedom movement, both rotation and translation.

Notes

Le fait qu’un appareil soit connecté ou attaché à un PC distinct (via un câble USB ou le Wi-Fi) ou autonome (non attaché) n’indique pas s’il est holographique ou immersif.Whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) doesn't reflect whether a device is holographic or immersive. Les fonctionnalités qui améliorent la mobilité donnent lieu à de meilleures expériences, mais les appareils holographiques et immersifs peuvent être attachés à un PC ou non.Features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

Le progrès technologique permet des expériences de réalité mixte, mais aucun appareil n’est en mesure d’exécuter des expériences sur tout le spectre.Technological advancement enables Mixed Reality experiences, but there aren't any devices today that can run experiences across the entire spectrum. Windows 10 offre une plateforme de réalité mixte commune pour les fabricants d’appareils et les développeurs.Windows 10 provides a common Mixed Reality platform for both device manufacturers and developers. Aujourd’hui, les appareils peuvent prendre en charge une plage spécifique du spectre de réalité mixte. Au fil du temps, de nouveaux appareils prendront en charge une plage plus étendue.Devices today can support a specific range within the Mixed Reality spectrum, with new devices expanding that range. À l’avenir, les appareils holographiques seront immersifs et les appareils immersifs seront plus holographiques.In the future, holographic devices will be immersive, and immersive devices will be more holographic.


Types d’appareils dans le spectre de réalité mixteDevice types in the Mixed Reality spectrum
Image : Positionnement des appareils dans le spectre de réalité mixteImage: Where devices exist on the Mixed Reality spectrum

Il est recommandé de réfléchir au type d’expérience qu’un développeur d’applications ou de jeux souhaite créer.It's best to think what type of experience an application or game developer wants to create. Les expériences ciblent généralement un point ou une partie spécifique du spectre.The experiences will typically target a specific point or part on the spectrum. Les développeurs doivent prendre en compte les fonctionnalités des appareils qu’ils souhaitent cibler.Developers should consider the capabilities of devices they want to target. HoloLens est mieux adapté aux expériences qui s’appuient sur le monde physique.Experiences that rely on the physical world will run best on HoloLens.

  • Vers la gauche (près de la réalité physique).Towards the left (near physical reality). Les utilisateurs restent présents dans leur environnement physique et ne sont jamais amenés à croire qu’ils ont quitté cet environnement.Users remain present in their physical environment and are never made to believe they have left that environment.
  • Au milieu (réalité entièrement mixte).In the middle (fully Mixed Reality). Ces expériences fusionnent le monde réel et le monde numérique.These experiences blend the real world and the digital world. Si vous avez vu le film Jumanji, vous vous souvenez sans doute de la jungle qui fait son apparition dans la structure physique de la maison où se déroule l’histoire.Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • Vers la droite (près de la réalité numérique).Towards the right (near digital reality). Les utilisateurs se retrouvent dans un environnement numérique et ignorent ce qui se passe dans l’environnement physique qui les entoure.Users experience a digital environment, and are unaware of what occurs in the physical environment around them.

Point de contrôle de découverte suivantNext Discovery Checkpoint

Si vous suivez le parcours de découverte que nous avons établi, vous êtes au cœur de l’exploration des concepts de base de la réalité mixte.If you're following the discovery journey we've laid out, you're in the midst of exploring the basics of Mixed Reality. À partir de là, vous pouvez passer au sujet suivant :From here, you can continue to the next foundational topic: