App e esempi di funzionalità di realtà mista

Immagine di un utente che indossa un dispositivo HoloLens e manipola un ologramma con il movimento delle mani

Ogni percorso di sviluppo ha inizio con un'indagine retrospettiva su ciò che è già stato realizzato da altri sviluppatori. Questo è vero anche per la realtà mista. Attualmente, tutte le esercitazioni e le app di esempio vengono create in Unity o Unreal. Il contenuto che viene sviluppato per altri motori e piattaforme sarà disponibile sotto l'intestazione pertinente nel Sommario.

Case study sull'applicazione di esempio

Le app di esempio open source sono state create dai team per aiutare a gestire in prima mano lo sviluppo di realtà mista. I progetti e il codice sorgente completo sono stati forniti come riferimento per l'apprendimento.

HoloLens 2 app di esempio open source

Queste app di esempio vengono effettuate con l'Toolkit realtà mista per Unity.

HoloLens di esempio open source (prima generazione)

Esempi di funzionalità

Per ognuno degli scenari di sviluppo elencati di seguito, sono disponibili esempi di funzionalità che corrispondono a implementazioni specifiche trattate nella documentazione e coprono una gamma di piattaforme di sviluppo e dispositivi hardware.

Scenario Esempio di funzionalità Motore Descrizione
Creare scenari di realtà mista Unity di base Esempi di OpenXR con Unity Unity C # Introduzione agli strumenti di sviluppo multipiattaforma con i plug-in OpenXR e Unity 2020.LTS più recenti.
Strategie di ancoraggio Ancoraggio locale Salvare in modo permanente e condividere ancoraggi nello stato tra sessioni dell'applicazione e tra dispositivi. Vedere l'articolo Ancoraggi nello spaziale.
Esempi di Ancoraggi nello stato di Azure Creare applicazioni di realtà mista con informazioni spaziali con le funzionalità essenziali di Ancoraggi nello stato di Azure.
Codici a codici a barre Unity C # Rilevare i codici a barre nell'ambiente.
Collaborazione nella realtà mista Identità utente Unity C # Configurare il dispositivo HoloLens 2 usando le Azure Active Directory (AAD).
Esempio webRTC Unity C # Integrare la comunicazione in tempo reale di audio, video e dati peer-to-peer in un'applicazione di realtà mista.
Esempi di Ancoraggi nello stato di Azure Creare applicazioni di realtà mista con informazioni spaziali con le funzionalità essenziali di Ancoraggi nello stato di Azure.
Interazione spaziale Esempio di ologramma di base Windows 10 C++ Eseguire il rendering di un cubo rotante Windows Mixed Reality.
Comprensione della scena/dell'oggetto Esempi di comprensione della scena Unity C # Consente di progettare applicazioni di realtà mista con supporto ambientale.
Ancoraggi di oggetti di Azure esempi Unity C # Rilevare un oggetto nel mondo fisico usando un modello 3D e stimarne la posizione 6DoF conAncoraggi di oggetti di Azure .
Sovrimpressione dei dati contestuali Codici a codici a barre Unity C # Rilevare i codici a barre nell'ambiente.
Esempio di tracker poster Unity C # Allineare un ologramma a un oggetto reale.
Creare gemelli digitali di realtà mista Unity C # Informazioni su come creare un'applicazione di realtà mista usando Gemelli digitali di Azure e Unity, una piattaforma 3D in tempo reale.
Acquisizione dei dati della fotocamera Esempio di acquisizione di realtà mista Windows 10 C++ Acquisisci l'esperienza in prima persona di combinare mondo reale e digitale come foto o video.
Esempio di visualizzazione della erta Unity C # Acquisire ed eseguire il rendering degli ologrammi con le dimensioni e l'orientamento corretti.
Esempi di modalità ricerca Windows 10 C++ Accesso ai sensori chiave in un dispositivo HoloLens per le applicazioni di ricerca.
Holographic Remoting Lettore Holographic Remoting Windows 10 C++ Trasmettere contenuto olografico da un PC al Microsoft HoloLens in tempo reale usando una Wi-Fi connessione.
Rendering remoto di Azure esempi Unity C # Testare il Rendering remoto di Azure usando le risorse per i dati di esempio elencati qui.
Gestione delle attività e linee guida Dynamics 365 Remote Assist Collaborare in modo più efficiente collaborando da posizioni diverse con Dynamics 365 Remote Assist su HoloLens, HoloLens 2, Android o iOS.
Guide di Dynamics 365 Aiutare gli operatori a imparare durante il flusso di lavoro fornendo istruzioni olografiche quando e dove sono necessari.
Ologrammi di blocco del mondo Esempio di fisica del mondo bloccato Unity C # Esplorare alcune esperienze di fisica virtuale abilitate dal sistema di coordinate world locking tools di World Locking Tools.
Esempio di puntina da spazio Unity C # Avvicinarsi ai lavori interni di un'applicazione reale che deve allineare uno o più oggetti di grandi dimensioni alle funzionalità del mondo reale. L'esempio di puntina da spazio offre una visualizzazione semplificata e più mirata della funzionalità Puntina spaziatrice.
Esempio di puntine a raggi Unity C # Illustra come configurare i segnaposto dello spazio modificando manualmente gli oggetti marcatore in posizione usando gli affordance MRTK.
World Locking Tools with Azure Spatial Anchors sample (Esempio di World Locking Tools con Ancoraggi nello stato di Azure) Unity C # Fornire un sistema di coordinate stabile che può essere reso persistente tra le sessioni e condiviso tra i dispositivi nell'applicazione. Ciò è possibile quando si combinaNo World Locking Tools for Unity (WLT) con Ancoraggi nello stato di Azure (ASA).

Creare scenari OpenXR di base

Se non hai ancora iniziato a creare scenari di realtà mista di base, questi esempi ti aiuteranno a iniziare.

Per gli sviluppatori che hanno come destinazione Unity 2020 la creazione di applicazioni HoloLens 2 o realtà mista, è possibile usare il plug-in OpenXR invece del plug-in XR di Windows per una migliore compatibilità multipiattaforma. Il plug-in OpenXR di realtà mista funziona bene anche con la versione più recente di Mixed Reality Toolkit (2.7.x).

Esempio Articolo di riferimento Piattaforma Descrizione
Esempi di Mixed Reality OpenXR con Unity Uso del plug-in OpenXR Unity C # Questi progetti di esempio illustrano come compilare applicazioni Unity per HoloLens 2 visori VR o realtà mista usando il plug-in OpenXR di Realtà mista.

Vengono trattati gli scenari di esempio seguenti:
Progetto Unity di base di OpenXR MRTK Vedere il file Leggimi di esempio Unity C # Questo repo contiene un progetto Unity configurato con i pacchetti Microsoft Mixed Reality Toolkit Foundations e Standard Assets e il pacchetto Microsoft OpenXR Plugin.
Uso di Unity 2020.3 e MRTK 2.7.2 Informazioni su MRTK Unity C # MRTK-Unity è un progetto guidato da Microsoft che fornisce un set di componenti e funzionalità che vengono usati per accelerare lo sviluppo di app mr multipiattaforma in Unity.
OpenXR Explorer Vedere il file Leggimi di esempio C++, Windows, Linux, OpenXR OpenXR Explorer è uno strumento di debug utile per gli sviluppatori OpenXR. Consente di passare facilmente da un runtime OpenXR all'altro, visualizza gli elenchi delle estensioni supportate del runtime e consente l'ispezione di proprietà ed enumerazioni comuni, con collegamenti diretti alle parti rilevanti della specifica OpenXR.
Esempi di OpenXR per sviluppatori di realtà mista Che cos'è OpenXR C++ Questi esempi OpenXR usano C++17 e Direct3D 11. Lo stesso codice sorgente funziona nelle applicazioni UWP in esecuzione in applicazioni HoloLens 2 e Win32 in esecuzione in Windows Desktop con visori VR immersive Windows Mixed Reality.

Collaborazione nella realtà mista

Nella realtà mista le persone si riuniranno virtualmente per condividere esperienze e collaborare. Gli esempi elencati di seguito illustrano alcune funzionalità che rendono possibile tale collaborazione.

Identità utente

Questo esempio configura il dispositivo HoloLens 2 usando le credenziali Azure Active Directory (AAD) e quindi configura il dispositivo per l'uso dell'accesso iris.

Esempio Articolo di riferimento
AAD Accesso al HoloLens 2 Panoramica delle Microsoft Identity Platform

WebRTC

Il MixedReality-WebRTC è una raccolta di componenti che consentono agli sviluppatori di app di realtà mista di integrare le comunicazioni in tempo reale di audio, video e dati peer-to-peer nelle proprie applicazioni. I componenti WebRTC sono basati sul protocollo WebRTC per Real-Time Communication (RTC), supportato dalla maggior parte dei Web browser moderni.

Esempio Articolo di riferimento
App di esempio WebRTC WebRTC

Interazione spaziale - Esempio di ologramma di base

Questo esempio viene eseguito in Windows Mixed Reality ed esegue il rendering di un cubo rotante. È possibile interagire con il cubo inserendolo in una nuova posizione e sono consentiti vari metodi di input. Questo esempio funziona nei PC con dispositivi visori VR collegati e anche in Microsoft HoloLens.

Esempio Articolo di riferimento
Windows Esempi universali - ologramma di base Vedere il file Leggimi di esempio

Informazioni sulle scene

La comprensione della scena offre agli sviluppatori di realtà mista una rappresentazione dell'ambiente strutturata e di alto livello. La comprensione della scena è progettata per lo sviluppo di applicazioni intuitive e con informazioni ambientali, combinando la potenza dei runtime di realtà mista esistenti. Questi runtime sono il mapping spaziale estremamente accurato ma meno strutturato e i nuovi runtime guidati dall'intelligenza artificiale.

Esempio Articolo di riferimento Piattaforma Descrizione
Esempi di comprensione della scena di realtà mista (SU SDK) Informazioni sulle scene Unity C# e SU SDK Un'applicazione di esempio basata su Unity che illustra Scene Understanding HoloLens 2.
Esempio scene Understanding (MRTK + SU SDK) Osservatore di comprensione della scena (MRTK) Unity C#, MRTK + SU SDK Esempio di SDK MRTK + Scene Understanding.

Sovrimpressione dei dati contestuali

I dati contestuali sono informazioni di base che forniscono una comprensione più ampia di un evento, una persona o un elemento. Con la realtà aumentata queste informazioni possono essere visualizzate e allineate con precisione agli oggetti fisici per fornire informazioni dettagliate, istruzioni, record di servizio e altri dati importanti.

Codici QR

HoloLens 2 è in grado di rilevare i codici a matrice nell'ambiente attorno al visore VR, stabilendo un sistema di coordinate nella posizione reale di ciascun codice.

Esempio Articolo di riferimento
Rilevamento di codici a matrice in Unity Codici QR

Esempio di rilevamento poster

Spesso è utile essere in grado di allineare un ologramma a un oggetto reale o di allineare più dispositivi HoloLens a un set comune di coordinate globali, in modo che tutti vedano gli stessi ologrammi nella stessa posizione. Ad esempio, nella scena Unity è possibile aggiungere un "poster" in cui si vuole ancorare la scena (ad esempio un tabellone di gioco) e quindi aggiungere ologrammi su di essa o intorno. È quindi possibile stampare il poster, porlo su un tavolo ed eseguire lo strumento di calibrazione/allineamento, che sposterà la versione olografica del poster in modo che sia allineata alla versione fisica del poster. In questo modo tutti gli ologrammi collegati vengono spostato nell'allineamento corretto.

Esempio Articolo di riferimento
Esempio di calibrazione poster Vedere il file Leggimi di esempio

Creare gemelli digitali di realtà mista

In questo esempio si apprenderà come creare un'applicazione HoloLens 2 realtà mista usando Gemelli digitali di Azure e Unity, una piattaforma 3D in tempo reale.

Esempio Articolo di riferimento
Creazione di gemelli digitali di realtà mista con Gemelli digitali di Azure e Unity Percorso di apprendimento completo

Acquisizioni di fotocamere

I dati dei sensori dell'ambiente non strutturati che il dispositivo di realtà mista acquisisce vengono convertiti in potenti rappresentazioni astratte o olografiche del mondo fisico che ci circonda.

Acquisizione realtà mista in modalità olografica

Mixed Reality Capture (MRC) acquisisce l'esperienza in prima persona dei mondi reali e digitali combinati come foto o video e condivide ciò che si vede con altri utenti in tempo reale.

Esempio Articolo di riferimento
Esempi di acquisizione realtà mista Acquisizione realtà mista

Visualizzazione spettatore

La visualizzazione Spectator esegue il rendering degli ologrammi di Unity su una cornice a colori da una scheda di acquisizione. Questo esempio usa i dati di calibrazione dell'app di calibrazione per eseguire il rendering degli ologrammi con le dimensioni e l'orientamento corretti.

Applicazione di esempio Articolo di riferimento
Configurazione per dispositivi mobili per la visualizzazione di Spectator Vedere la configurazione di esempio

Research Mode

La modalità di ricerca è stata introdotta nel HoloLens di prima generazione per concedere l'accesso ai sensori chiave nel dispositivo, in particolare per le applicazioni di ricerca che non sono destinate alla distribuzione. Le applicazioni di esempio seguenti sono esempi per l'accesso e la registrazione di flussi in modalità di ricerca e l'uso di intrinseco ed etrinsico.

Applicazione di esempio Articolo di riferimento
HoloLens (prima generazione) Research Mode
HoloLens 2 Research Mode

Holographic Remoting

Holographic Remoting Player è un'app complementare che si connette ad app e giochi per PC che supportano la tecnologia Holographic Remoting. Holographic Remoting consente di trasmettere contenuto olografico da un PC al Microsoft HoloLens in tempo reale usando una connessione Wi-Fi ed è supportato in HoloLens (prima generazione) e HoloLens 2.

Esempio Articolo di riferimento
Esempi di Holographic Remoting Holographic Remoting