App e esempi di funzionalità di realtà mista

Ogni percorso di sviluppo ha inizio con un'indagine retrospettiva su ciò che è già stato realizzato da altri sviluppatori. Questo è vero anche per la realtà mista. Attualmente, tutte le esercitazioni e le app di esempio vengono create in Unity o Unreal. Il contenuto che viene sviluppato per altri motori e piattaforme sarà disponibile sotto l'intestazione pertinente nel Sommario.

• Case study dell'applicazione di esempio
• Esempi di funzionalità

Case study sull'applicazione di esempio

Esempi di funzionalità

Per ognuno degli scenari di sviluppo elencati di seguito, sono disponibili esempi di funzionalità che corrispondono a implementazioni specifiche trattate nella documentazione e coprono una gamma di piattaforme di sviluppo e dispositivi hardware.

Creare scenari OpenXR di base

Se non hai ancora iniziato a creare scenari di realtà mista di base, questi esempi ti aiuteranno a iniziare.

Per gli sviluppatori che hanno come destinazione Unity 2020 la creazione di applicazioni HoloLens 2 o realtà mista, è possibile usare il plug-in OpenXR invece del plug-in XR di Windows per una migliore compatibilità multipiattaforma. Il plug-in OpenXR di realtà mista funziona bene anche con la versione più recente di Mixed Reality Toolkit (2.7.x).

Collaborazione nella realtà mista

Nella realtà mista le persone si riuniranno virtualmente per condividere esperienze e collaborare. Gli esempi elencati di seguito illustrano alcune funzionalità che rendono possibile tale collaborazione.

Identità utente

Questo esempio configura il dispositivo HoloLens 2 usando le credenziali Azure Active Directory (AAD) e quindi configura il dispositivo per l'uso dell'accesso iris.

WebRTC

Il MixedReality-WebRTC è una raccolta di componenti che consentono agli sviluppatori di app di realtà mista di integrare le comunicazioni in tempo reale di audio, video e dati peer-to-peer nelle proprie applicazioni. I componenti WebRTC sono basati sul protocollo WebRTC per Real-Time Communication (RTC), supportato dalla maggior parte dei Web browser moderni.

Interazione spaziale - Esempio di ologramma di base

Questo esempio viene eseguito in Windows Mixed Reality ed esegue il rendering di un cubo rotante. È possibile interagire con il cubo inserendolo in una nuova posizione e sono consentiti vari metodi di input. Questo esempio funziona nei PC con dispositivi visori VR collegati e anche in Microsoft HoloLens.

Informazioni sulle scene

La comprensione della scena offre agli sviluppatori di realtà mista una rappresentazione dell'ambiente strutturata e di alto livello. La comprensione della scena è progettata per lo sviluppo di applicazioni intuitive e con informazioni ambientali, combinando la potenza dei runtime di realtà mista esistenti. Questi runtime sono il mapping spaziale estremamente accurato ma meno strutturato e i nuovi runtime guidati dall'intelligenza artificiale.

Sovrimpressione dei dati contestuali

I dati contestuali sono informazioni di base che forniscono una comprensione più ampia di un evento, una persona o un elemento. Con la realtà aumentata queste informazioni possono essere visualizzate e allineate con precisione agli oggetti fisici per fornire informazioni dettagliate, istruzioni, record di servizio e altri dati importanti.

Codici QR

HoloLens 2 è in grado di rilevare i codici a matrice nell'ambiente attorno al visore VR, stabilendo un sistema di coordinate nella posizione reale di ciascun codice.

Esempio di rilevamento poster

Spesso è utile essere in grado di allineare un ologramma a un oggetto reale o di allineare più dispositivi HoloLens a un set comune di coordinate globali, in modo che tutti vedano gli stessi ologrammi nella stessa posizione. Ad esempio, nella scena Unity è possibile aggiungere un "poster" in cui si vuole ancorare la scena (ad esempio un tabellone di gioco) e quindi aggiungere ologrammi su di essa o intorno. È quindi possibile stampare il poster, porlo su un tavolo ed eseguire lo strumento di calibrazione/allineamento, che sposterà la versione olografica del poster in modo che sia allineata alla versione fisica del poster. In questo modo tutti gli ologrammi collegati vengono spostato nell'allineamento corretto.

Creare gemelli digitali di realtà mista

In questo esempio si apprenderà come creare un'applicazione HoloLens 2 realtà mista usando Gemelli digitali di Azure e Unity, una piattaforma 3D in tempo reale.

Acquisizioni di fotocamere

I dati dei sensori dell'ambiente non strutturati che il dispositivo di realtà mista acquisisce vengono convertiti in potenti rappresentazioni astratte o olografiche del mondo fisico che ci circonda.

Acquisizione realtà mista in modalità olografica

Mixed Reality Capture (MRC) acquisisce l'esperienza in prima persona dei mondi reali e digitali combinati come foto o video e condivide ciò che si vede con altri utenti in tempo reale.

Visualizzazione spettatore

La visualizzazione Spectator esegue il rendering degli ologrammi di Unity su una cornice a colori da una scheda di acquisizione. Questo esempio usa i dati di calibrazione dell'app di calibrazione per eseguire il rendering degli ologrammi con le dimensioni e l'orientamento corretti.

Research Mode

La modalità di ricerca è stata introdotta nel HoloLens di prima generazione per concedere l'accesso ai sensori chiave nel dispositivo, in particolare per le applicazioni di ricerca che non sono destinate alla distribuzione. Le applicazioni di esempio seguenti sono esempi per l'accesso e la registrazione di flussi in modalità di ricerca e l'uso di intrinseco ed etrinsico.

Holographic Remoting

Holographic Remoting Player è un'app complementare che si connette ad app e giochi per PC che supportano la tecnologia Holographic Remoting. Holographic Remoting consente di trasmettere contenuto olografico da un PC al Microsoft HoloLens in tempo reale usando una connessione Wi-Fi ed è supportato in HoloLens (prima generazione) e HoloLens 2.