Che cos'è Realtà mista?What is Mixed Reality?

Puntamento e commit con le mani in HoloLens 2

La realtà mista è una fusione tra mondo fisico e mondo digitale che rende possibili nuove interazioni tra uomo, computer e ambiente.Mixed Reality is a blend of physical and digital worlds, unlocking the links between human, computer, and environment interaction. Questa nuova realtà è il frutto dei progressi compiuti nei settori della visione artificiale, dell'elaborazione grafica, della tecnologia di visualizzazione e dei sistemi di input.This new reality is based on advancements in computer vision, graphical processing power, display technology, and input systems. Il termine realtà mista, tuttavia, è stato coniato nel 1994 in un documento a cura di Paul Milgram e Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays" (Tassonomia dei dispositivi di visualizzazione nella realtà mista).However, the term Mixed Reality was introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." Questo documento ha preso il esame il concetto di continuum di virtualizzazione e la categorizzazione della tassonomia applicata ai dispositivi di visualizzazione.Their paper explored the concept of the virtuality continuum and the categorization of taxonomy applied to displays. Da quel momento in poi, l'applicazione della realtà mista è andata oltre i dispositivi di visualizzazione per includere:Since then, the application of Mixed Reality has gone beyond displays to include:

  • Input ambientaleEnvironmental input
  • Audio spazialeSpatial sound
  • Posizioni e posizionamento negli spazi reali e virtualiLocations and positioning in both real and virtual spaces

Immagine dello spettro della realtà mistaThe Mixed Reality spectrum image
Immagine: la realtà mista è il risultato della fusione del mondo fisico con il mondo digitale.Image: Mixed Reality is the result of blending the physical world with the digital world.



Input e percezione ambientaliEnvironmental input and perception

Negli ultimi decenni è stata approfondita sempre di più la relazione tra input umano e del computer, portando a un disciplina nota come interazione uomo-computer o HCIOver the past several decades, exploration into the relationship between human and computer input has continued, leading to the discipline known as human computer interaction or HCI. L'input umano avviene attraverso diversi mezzi, tra cui tastiere, mouse, tocco, input penna, voce e anche il tracciamento dello scheletro con Kinect.Human input happens through different means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

I miglioramenti apportati ai sensori e all'elaborazione stanno creando nuove aree di input computer dagli ambienti.Advancements in sensors and processing are creating new areas of computer input from environments. L'interazione tra computer e ambienti è una conoscenza o percezione ambientale ed è proprio per questo motivo che le API di Windows che rivelano informazioni ambientali sono chiamate API di percezione.The interaction between computers and environments is environmental understanding or perception, which is why the API names in Windows that reveal environmental information are called the perception APIs. L'input ambientale acquisisce elementi come la posizione di una persona nell'ambiente (tracciamento del movimento della testa), le superfici e i confini (mapping spaziale e conoscenza della scena), l'illuminazione ambientale, l'audio ambientale, il riconoscimento degli oggetti e la posizione.Environmental input captures things like a person's position in the world (head tracking), surfaces, and boundaries (spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


Diagramma di Venn che mostra le interazioni tra computer, persone e ambientiVenn diagram showing interactions between computers, humans and environments

Immagine: interazioni tra computer, persone e ambienti.

Image: The interactions between computers, humans, and environments.


La combinazione di questi tre elementi, elaborazione del computer, input umano e input ambientale, consente di creare vere esperienze di realtà mista.The combination of all three - computer processing, human input, and environmental input - sets the stage for creating true Mixed Reality experiences. Il movimento nel mondo fisico si traduce in movimento nel mondo digitale.Movement through the physical world translates to movement in the digital world. I confini nel mondo fisico influenzano le esperienze delle applicazioni, ad esempio le esperienze di gioco, nel mondo digitale.Boundaries in the physical world influence application experiences, such as game play, in the digital world. Senza l'input ambientale, non è possibile fondere le esperienze tra realtà fisiche e digitali.Without environmental input, experiences can't blend between physical and digital realities.



Spettro della realtà mistaThe Mixed Reality spectrum

Dal momento che la realtà mista è una combinazione tra mondo fisico e mondo digitale, queste due realtà definiscono i poli estremi di uno spettro noto come continuum di virtualizzazione.Since Mixed Reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. La gamma delle realtà è denominata spettro della realtà mista.We refer to the array of realities as the Mixed Reality spectrum. Sul lato sinistro è presente la realtà fisica in cui si trova l'uomo.On the left-hand side, we have the physical reality that we as humans exist in. Sul lato destro è presente la realtà digitale corrispondente.On the right-hand side, we have the corresponding digital reality.



Realtà aumentata e realtà virtualeAugmented vs. virtual reality

La maggior parte dei telefoni cellulari attualmente presenti sul mercato non dispone di alcuna capacità di conoscenza ambientale.Most mobile phones on the market today have little to no environmental understanding capabilities. Le esperienze che offrono non possono combinare realtà fisiche e digitali.The experiences they offer can't mix physical and digital realities. Le esperienze di sovrapposizione di grafica sui flussi video del mondo fisico costituiscono la realtà aumentata.The experiences that overlay graphics on video streams of the physical world are augmented reality. Le esperienze che occludono la vista per presentare un'esperienza digitale costituiscono la realtà virtuale.The experiences that occlude your view to present a digital experience are virtual reality. Le esperienze possibili tra la realtà aumentata e la realtà virtuale costituiscono la realtà mista:The experiences enabled between augmented and virtual reality form Mixed Reality:

  • Iniziando dal mondo fisico, si inserisce un oggetto digitale, ad esempio un ologramma, come se fosse presente.Starting with the physical world, placing a digital object, such as a hologram, as if it was there.
  • Partendo dal mondo fisico, una rappresentazione digitale di un'altra persona, un avatar, mostra la posizione in cui si trovava quando ha lasciato gli appunti.Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. In altre parole, queste sono esperienze che rappresentano la collaborazione asincrona in momenti diversi.In other words, experiences that represent asynchronous collaboration at different points in time.
  • Partendo da un mondo digitale, i confini fisici del mondo fisico, ad esempio i muri e i mobili, vengono visualizzati digitalmente all'interno dell'esperienza per aiutare gli utenti a evitare gli oggetti fisici.Starting with a digital world, physical boundaries from the physical world like walls and furniture appear digitally within the experience to help users avoid physical objects.

Spettro della realtà mistaThe Mixed Reality spectrum
Immagine: spettro della realtà mistaImage: The Mixed Reality spectrum


Nella maggior parte dei casi, le offerte di realtà aumentata e realtà virtuale attualmente disponibili rappresentano una piccola parte di questo spettro e sono considerate sottoinsiemi dello spettro della realtà mista complessivo.Most augmented reality and virtual reality offerings available today represent a small part of this spectrum and are considered subsets of the larger Mixed Reality spectrum. Windows 10 è stato creato tenendo conto dell'intero spettro e consente di combinare rappresentazioni digitali di persone, luoghi e cose con il mondo reale.Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Dispositivi ed esperienzeDevices and experiences

Esistono due tipi principali di dispositivi che offrono esperienze Windows Mixed Reality:There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. I dispositivi olografici sono caratterizzati dalla capacità del dispositivo di collocare contenuti digitali nel mondo reale come se vi si trovassero effettivamente.Holographic devices are characterized by the device's ability to place digital content in the real world as if it were there.
  2. I dispositivi immersive sono caratterizzati dalla capacità del dispositivo di creare un senso di "presenza", nascondendo il mondo fisico e sostituendolo con un'esperienza digitale.Immersive devices are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
CaratteristicaCharacteristic Dispositivi olograficiHolographic devices Dispositivi immersiveImmersive devices
Dispositivo di esempioExample device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
SchermoDisplay Display trasparente.See-through display. Consente all'utente di vedere l'ambiente fisico mentre indossa il visore VR.Allows user to see the physical environment while wearing the headset. Display opaco.Opaque display. Blocca la vista dell'ambiente fisico mentre si indossa il visore VR.Blocks out the physical environment while wearing the headset.
MovementMovement Movimento di sei gradi di libertà, con rotazione e traslazione.Full six-degrees-of-freedom movement, both rotation and translation. Movimento di sei gradi di libertà, con rotazione e traslazione.Full six-degrees-of-freedom movement, both rotation and translation.

Nota

Il fatto che un dispositivo sia connesso, anche con tethering, a un PC separato (tramite cavo USB o Wi-Fi) o che sia un dispositivo autonomo (senza tethering) non indica se si tratta di un dispositivo olografico o immersive.Whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) doesn't reflect whether a device is holographic or immersive. Le funzionalità che migliorano la mobilità determinano una migliore esperienza e i dispositivi olografici e immersive possono essere sia con che senza tethering.Features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

Il progresso tecnologico rende possibili esperienze di realtà mista, ma non sono disponibili al momento dispositivi in grado di offrire esperienze che coprono l'intero spettro.Technological advancement enables Mixed Reality experiences, but there aren't any devices today that can run experiences across the entire spectrum. Windows 10 offre una piattaforma di realtà mista comune per produttori e sviluppatori di dispositivi.Windows 10 provides a common Mixed Reality platform for both device manufacturers and developers. I dispositivi odierni possono supportare una gamma specifica nell'ambito dello spettro della realtà mista e tale gamma si arricchirà con nuovi dispositivi.Devices today can support a specific range within the Mixed Reality spectrum, with new devices expanding that range. In futuro i dispositivi olografici saranno più immersive e i dispositivi immersive saranno più olografici.In the future, holographic devices will be immersive, and immersive devices will be more holographic.


Tipi di dispositivi nello spettro della realtà mistaDevice types in the Mixed Reality spectrum
Immagine: posizione occupata dai dispositivi nello spettro della realtà mistaImage: Where devices exist on the Mixed Reality spectrum

È preferibile pensare al tipo di esperienza che uno sviluppatore di applicazioni o giochi vuole creare.It's best to think what type of experience an application or game developer wants to create. Le esperienze in genere indicano un punto o una parte specifica dello spettro.The experiences will typically target a specific point or part on the spectrum. Gli sviluppatori devono valutare le capacità dei dispositivi a cui mirare.Developers should consider the capabilities of devices they want to target. Le esperienze che si basano sul mondo fisico verranno eseguite in modo ottimale in HoloLens.Experiences that rely on the physical world will run best on HoloLens.

  • Verso sinistra (in prossimità della realtà fisica).Towards the left (near physical reality). Gli utenti rimangono presenti nell'ambiente fisico e non hanno mai l'impressione di aver lasciato tale ambiente.Users remain present in their physical environment and are never made to believe they have left that environment.
  • Al centro (completamente nella realtà mista).In the middle (fully Mixed Reality). Queste esperienze fondono il mondo reale e il mondo digitale.These experiences blend the real world and the digital world. Chi ha visto il film Jumanji può riconciliare il modo in cui la struttura fisica della casa in cui si è svolta la trama è stata fusa con una giungla.Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • Verso destra (in prossimità della realtà digitale).Towards the right (near digital reality). Gli utenti sperimentano un ambiente digitale e non sono consapevoli di ciò che accade nell'ambiente fisico che li circonda.Users experience a digital environment, and are unaware of what occurs in the physical environment around them.

Prossima stazione di scopertaNext Discovery Checkpoint

Se si sta seguendo il percorso di scoperta definito, è possibile esplorare le nozioni di base della realtà mista.If you're following the discovery journey we've laid out, you're in the midst of exploring the basics of Mixed Reality. Da qui è possibile continuare con l'argomento di base successivo:From here, you can continue to the next foundational topic: