Esperienze condivise nella realtà mista

Ologrammi non è necessario rimanere privati per un solo utente. Le app olografiche possono condividere ancoraggi nello spazio da un dispositivo HoloLens, iOS o Android a un altro, consentendo agli utenti di eseguire il rendering di un ologramma nello stesso punto del mondo reale tra più dispositivi.

Sei domande per definire scenari condivisi

Prima di iniziare la progettazione per le esperienze condivise, è importante definire gli scenari di destinazione. Questi scenari consentono di chiarire cosa si sta progettando e stabilire un vocabolario comune per confrontare e contrapporre le funzionalità necessarie nell'esperienza. Comprendere il problema principale e le diverse soluzioni è fondamentale per individuare le opportunità insite in questo nuovo supporto.

Tramite prototipi interni ed esplorazioni delle HoloLens partner, sono state create sei domande che consentono di definire scenari condivisi. Queste domande formano un framework, non inteso come esaustivo, per aiutare a distillare gli attributi importanti degli scenari.

1. Come vengono condivisi?

Una presentazione può essere guidata da un singolo utente virtuale, mentre più utenti possono collaborare o un insegnante può fornire indicazioni agli studenti virtuali che lavorano con materiali virtuali. La complessità delle esperienze aumenta in base al livello di agenzia che un utente ha o può avere in uno scenario.

Uomo e donne con olografo sul tavolo

Esistono molti modi per condividere, ma è stato rilevato che la maggior parte di essi rientra in tre categorie:

  • Presentazione: quando lo stesso contenuto viene visualizzato a più utenti. Ad esempio: un docente sta offrendo una lezione a diversi studenti usando lo stesso materiale olografico presentato a tutti. Il docente, tuttavia, potrebbe avere i propri suggerimenti e note che potrebbero non essere visibili ad altri.
  • Collaborazione: quando le persone lavorano insieme per raggiungere alcuni obiettivi comuni. Ad esempio: il docente ha dato un progetto per imparare a eseguire un intervento di intervento al cuore. Gli studenti si associano e creano un'esperienza di lab di competenze condivise, che consente agli studenti di medici di collaborare al modello di cuore e apprendere.
  • Linee guida: quando una persona aiuta qualcuno a risolvere un problema in un'interazione più uno-a-uno in stile. Ad esempio: il docente che fornisce indicazioni a uno studente quando sta eseguendo il lab di competenze di intervento di intervento di cuore nell'esperienza condivisa.

2. Qual è la dimensione del gruppo?

Le esperienze di condivisione uno-a-uno possono fornire una baseline solida e idealmente le prove di concetto possono essere create a questo livello. Tenere tuttavia presente che la condivisione con gruppi di grandi dimensioni (oltre sei persone) può causare difficoltà sia tecniche (dati e rete) che sociali (l'impatto di essere in una stanza con diversi avatar). La complessità aumenta in modo esponenziale quando si passa da gruppi piccoli a gruppi di grandi dimensioni.

È stato rilevato che le esigenze dei gruppi possono essere suddivise in tre categorie di dimensioni:

  • 1:1
  • Small < 7
  • Dimensioni >= 7

La dimensione del gruppo è una domanda importante perché influisce su:

  • Rappresentazioni di persone nello spazio olografico
  • Scala degli oggetti
  • Scalabilità dell'ambiente

3. Dove sono tutti?

La forza della realtà mista entra in gioco quando un'esperienza condivisa può avere luogo nella stessa posizione. Questo oggetto viene chiamato colocato. Al contrario, quando il gruppo viene distribuito e almeno un partecipante non si trova nello stesso spazio fisico (come spesso accade con vr) si chiama esperienza remota. Spesso, è il caso che il gruppo abbia partecipanti sia colocati che remoti (ad esempio, due gruppi nelle sale riunioni).

Tre persone con ologramma sul tavolo

Le categorie seguenti consentono di comunicare dove si trovano gli utenti:

  • Colocato: tutti gli utenti saranno nello stesso spazio fisico.
  • Remoto: tutti gli utenti saranno in spazi fisici separati.
  • Entrambi: gli utenti saranno una combinazione di spazi condivisi e remoti.

Questa domanda è fondamentale perché influisce su:

  • Come comunicano le persone?
    • Ad esempio: se devono avere avatar?
  • Quali oggetti vedono. Tutti gli oggetti sono condivisi?
  • Se è necessario adattarsi al proprio ambiente?

4. Quando vengono condivisi?

In genere si pensa a esperienze sincrone quando vengono in mente esperienze condivise: tutte le esperienze vengono condivise. Ma se si include un singolo elemento virtuale aggiunto da un altro utente, si ha uno scenario asincrono. Imagine una nota, o promemoria vocale, lasciata in un ambiente virtuale. Come si gestiscono 100 promemoria virtuali rimasti nella progettazione? Cosa succede se vengono da decine di persone con diversi livelli di privacy?

Considerare le esperienze come una di queste categorie di tempo:

  • In modo sincrono: condivisione dell'esperienza olografica contemporaneamente. Ad esempio: due studenti che fanno il lab delle competenze contemporaneamente.
  • In modo asincrono: condivisione dell'esperienza olografica in momenti diversi. Ad esempio: due studenti che fanno il lab delle competenze ma lavorano su sezioni separate in momenti diversi.
  • Entrambi: a volte gli utenti condivideranno in modo sincrono, ma altre volte in modo asincrono. Ad esempio: un docente che classifica l'assegnazione eseguita dagli studenti in un secondo momento e lascia gli appunti per gli studenti per il giorno successivo.

Questa domanda è importante perché influisce su:

  • Persistenza dell'oggetto e dell'ambiente. Ad esempio: archiviazione degli stati in modo che possano essere recuperati.
  • Prospettiva dell'utente. Ad esempio: ricordare ciò che l'utente stava osservando quando lascia le note.

5. Quanto sono simili gli ambienti fisici?

La probabilità di due ambienti reali identici, al di fuori delle esperienze colocate, è sottile, a meno che tali ambienti non siano stati progettati per essere identici. È più probabile che si abbia ambienti simili. Ad esempio, le sale riunioni sono simili, in genere hanno un tavolo situato in posizione centrale racchiuso tra sedie. I living, d'altra parte, sono dissimili** e possono includere un numero qualsiasi di mobili in una gamma infinita di layout.

Olografo sulla tabella

Considerare le esperienze di condivisione che si adattano a una di queste due categorie:

  • Simile: ambienti che tendono ad avere mobili simili, luce ambientale e suono, dimensioni della stanza fisica. Ad esempio: il docente si trova nella sala conferenze A e gli studenti si trovano nella sala conferenze B. La sala A potrebbe avere meno sedie rispetto a B, ma entrambi possono avere una scrivania fisica su cui posizionare gli ologrammi.
  • Dissimili: ambienti diversi nelle impostazioni dei mobili, nelle dimensioni delle camere, nelle considerazioni sulla luce e sul suono. Ad esempio: un docente si trova in una stanza di interesse, ma gli studenti si trova in una grande sala conferenze, piena di studenti e docenti.

È importante pensare all'ambiente, in quanto influirà su:

  • Modalità di utilizzo di questi oggetti da parte degli utenti. Ad esempio: se l'esperienza è ottimale in una tabella e l'utente non ha una tabella? Oppure su una superficie piana, ma l'utente ha uno spazio disordinato.
  • Scala degli oggetti. Ad esempio: posizionare un modello umano di sei metri su un tavolo potrebbe essere difficile, ma un modello di cuore potrebbe funzionare alla grande.

6. Quali dispositivi usano?

Oggi è spesso probabile che si vedano esperienze condivise tra due dispositivi immersivi (questi dispositivi potrebbero differire leggermente per i pulsanti e le funzionalità relative, ma non notevolmente) o due dispositivi olografici, date le soluzioni destinate a questi dispositivi. Considerare tuttavia se i dispositivi 2D (un partecipante o un osservatore di dispositivi mobili/desktop) saranno una considerazione necessaria, soprattutto in situazioni di dispositivi 2D e 3D misti. Comprendere i tipi di dispositivi che verranno utilizzati dai partecipanti è importante, non solo perché hanno diverse fedeltà, vincoli e opportunità per i dati, ma anche perché gli utenti hanno aspettative univoche per ogni piattaforma.

Esplorazione del potenziale delle esperienze condivise

Le risposte alle domande precedenti possono essere combinate per comprendere meglio lo scenario condiviso, in modo da ampliare l'esperienza. Per il team di Microsoft, questo ha contribuito a stabilire una road map per migliorare le esperienze che si usano attualmente, comprendere la sfumatura di questi problemi complessi e come sfruttare le esperienze condivise nella realtà mista.

Si consideri, ad esempio, uno degli scenari di Skype dall'avvio di HoloLens: un utente ha illustrato come correggere un interruttore di luce interrotto con l'aiuto di un esperto di posizione remota.

Correzione di un interruttore leggero con assistenza tramite Skype per HoloLens

Un esperto fornisce indicazioni 1:1 dal computer desktop 2D a un utente di un dispositivo 3D di realtà mista. Le indicazioni sono sincrone e gli ambienti fisici sono diversi.

Un'esperienza come questa è un passaggio rispetto all'esperienza attuale, ovvero l'applicazione del paradigma di video e voce a un nuovo supporto. Tuttavia, mentre si guarda al futuro, è necessario definire meglio l'opportunità degli scenari e creare esperienze che riflettano il punto di forza della realtà mista.

Si consideri lo strumento di collaborazione OnSight,sviluppato dal JetTurbas Laboratory della NASA. Gli scienziati che lavorano sui dati delle missioni rover di Mars possono collaborare con i colleghi in tempo reale all'interno dei dati provenienti dal panorama marziano.

Collaborazione tra colleghi separati in remoto per pianificare il lavoro per mars rover

Uno scienziato esplora un ambiente usando un dispositivo 3D di realtà mista con un piccolo gruppo di colleghi remoti che usano dispositivi 3D e 2D. La collaborazione è sincrona (ma può essere rivisitata in modo asincrono) e gli ambienti fisici sono (virtualmente) simili.

Esperienze come OnSight offrono nuove opportunità di collaborazione. Dal punto di vista fisico degli elementi nell'ambiente virtuale alla posizione accanto a un collega e alla condivisione della loro prospettiva mentre spiegano i risultati. OnSight usa l'obiettivo dell'immersione e della presenza per ridefinire le esperienze di condivisione nella realtà mista.

La collaborazione intuitiva è il fondamento della conversazione, la collaborazione e la comprensione di come è possibile applicare questa intuitività alla complessità della realtà mista è fondamentale. Se non solo è possibile ricreare esperienze di condivisione nella realtà mista, ma sovrapprezzo, si tratta di un cambio di paradigma per il futuro del lavoro. Progettare esperienze condivise nella realtà mista è uno spazio nuovo ed interessante e siamo solo all'inizio.

Introduzione alla creazione di esperienze condivise

A seconda dell'applicazione e dello scenario, saranno necessari diversi requisiti per ottenere l'esperienza desiderata. tra cui:

  • Creazione di corrispondenze: possibilità di creare sessioni, annunciare sessioni, individuare e invitare utenti specifici, in locale e in remoto, a partecipare alla sessione.
  • Condivisione dell'ancoraggio: possibilità di allineare le coordinate tra più dispositivi in uno spazio locale comune, in modo che gli ologrammi vengano visualizzati nella stessa posizione per tutte le persone.
  • Rete: possibilità di avere posizioni, interazioni e movimenti di persone e ologrammi sincronizzati in tempo reale tra tutti i partecipanti.
  • Archiviazione stato: possibilità di archiviare le caratteristiche e le posizioni degli ologrammi nello spazio per l'aggiunta a metà sessione, il richiamo in un secondo momento e la solidità in caso di problemi di rete.

La chiave per le esperienze condivise è fare in modo che più utenti vedano gli stessi ologrammi nel mondo sul proprio dispositivo, spesso tramite la condivisione di ancoraggi per allineare le coordinate tra i dispositivi.

Per condividere gli ancoraggi, usare Ancoraggi nello spaziale di Azure:

  • Prima l'utente inserisce l'ologramma.
  • L'app crea un ancoraggiospaziale per bloccare l'ologramma con precisione nel mondo.
  • Gli ancoraggi possono essere condivisi HoloLens dispositivi iOS e Android tramite Ancoraggi nello spazio di Azure.

Con un ancoraggio spaziale condiviso, l'app in ogni dispositivo dispone ora di un sistema di coordinate comune in cui è possibile inserire il contenuto. Ora l'app può assicurarsi di posizionare e orientare l'ologramma nella stessa posizione.

Nei HoloLens, è anche possibile condividere gli ancoraggi offline da un dispositivo a un altro. Usare i collegamenti seguenti per decidere cosa è meglio per l'applicazione.

Valutazione delle opzioni tecniche

Sono disponibili varie opzioni di servizi e tecnologie che consentono di creare esperienze di realtà mista multi-utente. Può essere difficile scegliere un percorso, quindi, considerando una prospettiva incentrata su uno scenario, alcune opzioni sono dettagliate di seguito.

Ologrammi statici condivisi (nessuna interazione)

Sfruttare ancoraggi nello spaziale di Azure nell'app. L'abilitazione e la condivisione di ancoraggi nello spazio tra dispositivi consente di creare un'applicazione in cui gli utenti vedono gli ologrammi nello stesso punto contemporaneamente. È necessaria una sincronizzazione aggiuntiva tra dispositivi per consentire agli utenti di interagire con gli ologrammi e visualizzare i movimenti o gli aggiornamenti dello stato degli ologrammi.

Condividere la prospettiva in prima persona

Sfruttare il supporto Miracast integrato per gli utenti locali quando si dispone di un ricevitore Miracast supportato, ad esempio un PC o un TV. Non è necessario alcun codice dell'app aggiuntivo.

Sfruttare MixedReality-WebRTC nell'app, per gli utenti remoti o quando si hanno dispositivi non Miracast che si desidera condividere. L'abilitazione di una connessione WebRTC abilita flussi audio/video 1:1 tra gli utenti, con un canale dati per la messaggistica tra dispositivi. L'implementazione di realtà mista è ottimizzata per HoloLens, fornendo ad altri utenti il flusso video di acquisizione della realtà mista HoloLens'utente. Se si desidera aumentare lo streaming video a più client remoti, viene in genere usato un provider di servizi MCU (Unità di conferenza multipoint), ad esempio SignalWire. Una distribuzione SignalWire in Azure con un clic è disponibile tramite Freeswitch.

Nota

Si noti che SignalWire è un servizio a pagamento e non è di proprietà/affiliata a Microsoft.

Presenter-Spectator applicazioni e demo

Sfruttare MixedReality-SpectatorView per portare la funzionalità di visualizzazione degli spettatori nell'app. Abilitare altri dispositivi (HL, Android, iOS e videocamere) per vedere cosa vede il HoloLens da una prospettiva diversa nella stessa posizione e ricevere aggiornamenti sulle interazioni dell'utente HoloLens host che interagisce con gli ologrammi. Guardare, scattare foto e registrare video di ciò che l'host fa con gli ologrammi nell'applicazione dal proprio punto di vista spaziale con lo spettante complementare della stessa app.

Nota: Le immagini vengono scattate tramite screenshot nei dispositivi iOS/Android.

Esperienza collaborativa multi-utente

Iniziare con l'esercitazionesull'apprendimento multi-utente, che sfrutta Ancoraggi nello stato di Azure per gli utenti locali e Photon SDK per sincronizzare il contenuto/stato nella scena. Creare applicazioni collaborative in locale in cui ogni utente ha la propria prospettiva sugli ologrammi nella scena e può interagire completamente con gli ologrammi. Gli aggiornamenti vengono forniti in tutti i dispositivi e la gestione dei conflitti di interazione viene gestita da Photon.

Nota

Si noti che Photon è un prodotto non Microsoft, quindi potrebbe essere necessaria una relazione di fatturazione con Photon per la productizzazione e la scalabilità per un utilizzo più elevato.

Lavoro futuro

Le funzionalità e le interfacce dei componenti consentono di offrire coerenza comune e un supporto affidabile nei vari scenari e tecnologie sottostanti. Fino ad allora, scegliere il percorso migliore che si allinea allo scenario che si sta tentando di ottenere nell'applicazione.

Scenario o voglia di usare un'altra tecnologia/servizio? Inviare commenti GitHub problemi nel relativo repo, nella parte inferiore di questa pagina, oppure contattare HoloDevelopers slack.

Vedere anche