Esperienze condivise in realtà mista
Gli ologrammi non devono rimanere privati a un solo utente. Le app Holographic possono condividere ancoraggi spaziali da un dispositivo HoloLens, iOS o Android a un altro, consentendo agli utenti di eseguire il rendering di un ologramma nello stesso posto nel mondo reale in più dispositivi.
Sei domande per definire scenari condivisi
Prima di iniziare a progettare esperienze condivise, è importante definire gli scenari di destinazione. Questi scenari consentono di chiarire ciò che si sta progettando e stabilire un vocabolario comune per confrontare e confrontare le funzionalità necessarie nell'esperienza. Comprendere il problema principale, e le diverse strade per le soluzioni, è fondamentale scoprire le opportunità intrinseche in questo nuovo mezzo.
Attraverso prototipi interni ed esplorazioni dalle nostre agenzie partner HoloLens, sono state create sei domande per definire scenari condivisi. Queste domande formano un framework, non destinato ad essere esaustivo, per facilitare l'inserimento degli attributi importanti degli scenari.
1. Come condividono?
Una presentazione può essere guidata da un singolo utente virtuale, mentre più utenti possono collaborare o un insegnante potrebbe fornire indicazioni agli studenti virtuali che lavorano con materiali virtuali, la complessità delle esperienze aumenta in base al livello di agenzia che un utente ha o può avere in uno scenario.
Ci sono molti modi per condividere, ma abbiamo scoperto che la maggior parte di esse rientrano in tre categorie:
- Presentazione: quando viene visualizzato lo stesso contenuto a diversi utenti. Ad esempio: un professore dà una lezione a diversi studenti usando lo stesso materiale olografico presentato a tutti. Il professore, tuttavia, potrebbe avere suggerimenti e note personali che potrebbero non essere visibili ad altri.
- Collaborazione: quando le persone lavorano insieme per raggiungere alcuni obiettivi comuni. Ad esempio: il professore ha dato un progetto per imparare a fare un intervento cardiaco. Gli studenti si associano e creano un'esperienza di laboratorio di competenze condivise, che consente agli studenti medici di collaborare sul modello cardiaco e imparare.
- Indicazioni: quando una persona aiuta qualcuno a risolvere un problema in un'interazione uno-a-uno. Ad esempio: il professore dà indicazioni a uno studente quando esegue il laboratorio di competenze di chirurgia cardiaca nell'esperienza condivisa.
2. Qual è la dimensione del gruppo?
Le esperienze di condivisione uno-a-uno possono fornire una linea di base forte e idealmente le prove del concetto possono essere create a questo livello. Ma tenere presente che la condivisione con gruppi di grandi dimensioni (oltre sei persone) può causare difficoltà sia tecniche (dati e rete) sia social (l'impatto di essere in una stanza con diversi avatar). La complessità aumenta esponenzialmente man mano che si passa da piccoli a gruppi di grandi dimensioni.
È stato rilevato che le esigenze dei gruppi possono rientrare in tre categorie di dimensioni:
- 1:1
- Piccolo < 7
- Large >= 7
Le dimensioni del gruppo fanno per una domanda importante perché influisce:
- Rappresentazioni di persone nello spazio olografico
- Scalabilità degli oggetti
- Scalabilità dell'ambiente
3. Dove sono tutti?
La forza della realtà mista entra in gioco quando un'esperienza condivisa può essere eseguita nella stessa posizione. Chiamiamo questo colocated. Al contrario, quando il gruppo viene distribuito e almeno un partecipante non si trova nello stesso spazio fisico ,come spesso accade con VR, chiamiamo che un'esperienza remota. Spesso, si tratta del caso in cui il gruppo abbia sia un colocating che i partecipanti remoti (ad esempio due gruppi in sale conferenze).
Le categorie seguenti consentono di comunicare dove si trovano gli utenti:
- Colocated: tutti gli utenti saranno nello stesso spazio fisico.
- Remoto: tutti gli utenti saranno in spazi fisici separati.
- Entrambi: gli utenti saranno una combinazione di spazi colcated e remoti.
Questa domanda è fondamentale perché influenza:
- Come comunicano le persone?
- Ad esempio: se devono avere avatar?
- Oggetti visualizzati. Tutti gli oggetti sono condivisi?
- Se dobbiamo adattarci al loro ambiente?
4. Quando condividono?
In genere pensiamo a esperienze sincrone quando le esperienze condivise vengono a mente: lo facciamo tutti insieme. Tuttavia, se si include un singolo elemento virtuale aggiunto da un altro utente, è disponibile uno scenario asincrono . Si immagini una nota o un memo vocale, lasciato in un ambiente virtuale. Come si gestiscono 100 memo virtuali lasciati nella progettazione? Cosa succede se sono da decine di persone con livelli di privacy diversi?
Prendere in considerazione le esperienze come una di queste categorie di tempo:
- Sincrono: condivisione dell'esperienza olografica contemporaneamente. Ad esempio: due studenti che fanno il lab di competenze contemporaneamente.
- In modo asincrono: condividere l'esperienza olografica in momenti diversi. Ad esempio: due studenti che fanno il laboratorio di competenze, ma lavorano su sezioni separate in momenti diversi.
- Entrambi: gli utenti a volte condividono in modo sincrono, ma altre volte in modo asincrono. Ad esempio, un professore che classifica l'assegnazione eseguita dagli studenti in un secondo momento e lascia note per gli studenti per il giorno successivo.
Questa domanda è importante perché influenza:
- Persistenza dell'oggetto e dell'ambiente. Ad esempio: archiviare gli stati in modo che possano essere recuperati.
- Prospettiva utente. Ad esempio, ricordare cosa stava guardando l'utente quando lasciava note.
5. Come sono simili gli ambienti fisici?
La probabilità di due ambienti reali identici, al di fuori delle esperienze colocated, è sottile a meno che tali ambienti non siano stati progettati per essere identici. È più probabile che si abbiano ambienti simili . Ad esempio, le sale conferenze sono simili, in genere hanno un tavolo centrale circondato da sedie. I salotti, d'altra parte, sono diversi** e possono includere qualsiasi numero di mobili in una matrice infinita di layout.
Prendere in considerazione le esperienze di condivisione in una delle due categorie seguenti:
- Simile: gli ambienti che tendono ad avere mobili simili, luce ambientale e suono, dimensioni della stanza fisica. Ad esempio: il professore si trova nella sala lezioni A e gli studenti si trovano nella sala lezioni B. Le lezioni A potrebbero avere meno sedie rispetto a B, ma entrambi possono avere una scrivania fisica per posizionare gli ologrammi.
- Dissimile: ambienti diversi nelle impostazioni di mobili, dimensioni della stanza, luce e considerazioni sul suono. Ad esempio, un professore si trova in una sala messa a fuoco, ma gli studenti si trovano in una grande sala lezioni, riempita con studenti e insegnanti.
È importante pensare all'ambiente, perché influirà:
- Come gli utenti avranno esperienza di questi oggetti. Ad esempio: se l'esperienza funziona meglio in una tabella e l'utente non ha tabella? O su una superficie piano piano, ma l'utente ha uno spazio incluttered.
- Scala degli oggetti. Ad esempio: l'inserimento di un modello umano di sei piedi su una tabella potrebbe essere difficile, ma un modello cardiaco funziona bene.
6. Quali dispositivi usano?
Oggi è spesso probabile che vengano visualizzate esperienze condivise tra due dispositivi immersivi (questi dispositivi potrebbero essere leggermente diversi per i pulsanti e le funzionalità relative, ma non notevolmente) o due dispositivi olografici in base alle soluzioni destinate a questi dispositivi. Tuttavia, considerare se i dispositivi 2D (un partecipante mobile/desktop o un osservatore) saranno una considerazione necessaria, soprattutto in situazioni di dispositivi 2D e 3D misti. La comprensione dei tipi di dispositivi che i partecipanti usano è importante, non solo perché sono dotati di vincoli di fedeltà e di dati diversi, ma perché gli utenti hanno aspettative uniche per ogni piattaforma.
Esplorazione del potenziale di esperienze condivise
Le risposte alle domande precedenti possono essere combinate per comprendere meglio lo scenario condiviso, cristallizzando le sfide durante l'espansione dell'esperienza. Per il team di Microsoft, questo ha contribuito a stabilire una mappa stradale per migliorare le esperienze usate oggi, comprendendo la sfumatura di questi problemi complessi e come sfruttare le esperienze condivise in realtà mista.
Si consideri, ad esempio, uno degli scenari di Skype dal lancio di HoloLens: un utente ha lavorato per risolvere un commutatore di luce interrotto con assistenza da un esperto localizzato in remoto.
Un esperto fornisce indicazioni 1:1 dal suo computer desktop 2D a un utente di un dispositivo di realtà mista 3D . Le indicazioni sono sincrone e gli ambienti fisici sono diversi.
Un'esperienza come questa è una modifica dettagliata dalla nostra esperienza corrente, applicando il paradigma del video e della voce a un nuovo mezzo. Ma quando guardiamo al futuro, dobbiamo definire meglio l'opportunità dei nostri scenari e creare esperienze che riflettono la forza della realtà mista.
Si consideri lo strumento di collaborazione OnSight, sviluppato dal Jet Propulsion Laboratory della NASA. Gli scienziati che lavorano sui dati delle missioni rover mars possono collaborare con i colleghi in tempo reale all'interno dei dati del paesaggio marziano.
Uno scienziato esplora un ambiente usando un dispositivo di realtà mista 3D con un piccolo gruppo di colleghi remoti che usano dispositivi 3D e 2D . La collaborazione è sincrona (ma può essere rivisitata in modo asincrono) e gli ambienti fisici sono (praticamente) simili.
Esperienze come OnSight presentano nuove opportunità di collaborazione. Dall'inserimento fisico di elementi nell'ambiente virtuale a stare accanto a un collega e condividere la propria prospettiva mentre spiegano i risultati. OnSight usa l'obiettivo di immersione e presenza per ripensare la condivisione delle esperienze nella realtà mista.
La collaborazione intuitiva è il fondamento della conversazione, lavorando insieme e comprendendo come possiamo applicare questa intuizione alla complessità della realtà mista è fondamentale. Se non possiamo solo ricreare le esperienze di condivisione nella realtà mista ma sovralimentarle, sarà un cambiamento di paradigma per il futuro del lavoro. La progettazione per esperienze condivise nella realtà mista è uno spazio nuovo ed emozionante, e siamo solo all'inizio.
Introduzione alla creazione di esperienze condivise
A seconda dell'applicazione e dello scenario, esistono diversi requisiti per ottenere l'esperienza desiderata. tra cui:
- Creazione di corrispondenze: possibilità di creare sessioni, annunciare sessioni, individuare e invitare persone specifiche, sia in locale che in remoto per partecipare alla sessione.
- Condivisione ancoraggio: possibilità di allineare le coordinate tra più dispositivi in uno spazio locale comune, quindi gli ologrammi vengono visualizzati nella stessa posizione per tutte le persone.
- Rete: possibilità di avere posizioni, interazioni e movimenti di persone e ologrammi sincronizzati in tempo reale tra tutti i partecipanti.
- Archiviazione dello stato: possibilità di archiviare le caratteristiche e le posizioni dell'ologramma nello spazio per l'aggiunta a una sessione intermedia, richiamare in un secondo momento e affidabilità contro i problemi di rete.
La chiave per le esperienze condivise è avere più utenti che vedono gli stessi ologrammi nel mondo nel proprio dispositivo, spesso eseguiti condividendo ancoraggi per allineare le coordinate tra i dispositivi.
Per condividere ancoraggi, usare Ancoraggi nello spazio di Azure:
- In primo luogo, l'utente inserisce l'ologramma.
- L'app crea un ancoraggio spaziale, per aggiungere l'ologramma esattamente nel mondo.
- Gli ancoraggi possono essere condivisi con dispositivi HoloLens, iOS e Android tramite Ancoraggi nello spazio di Azure.
Con un ancoraggio nello spazio condiviso, l'app in ogni dispositivo ha ora un sistema di coordinate comune in cui possono posizionare il contenuto. Ora l'app può assicurarsi di posizionare e orientare l'ologramma nella stessa posizione.
Nei dispositivi HoloLens è anche possibile condividere ancoraggi offline da un dispositivo a un altro. Usare i collegamenti seguenti per decidere cosa è meglio per l'applicazione.
Valutazione delle opzioni tecniche
Sono disponibili varie opzioni di servizio e tecnologia per creare esperienze di realtà mista multiutente. Può essere difficile scegliere un percorso, quindi prendendo una prospettiva incentrata sullo scenario, alcune opzioni sono descritte di seguito.
Ologrammi statici condivisi (nessuna interazione)
Sfruttare Ancoraggi nello spazio di Azure nell'app. L'abilitazione e la condivisione di ancoraggi nello spazio tra dispositivi consente di creare un'applicazione in cui gli utenti vedono gli ologrammi nella stessa posizione contemporaneamente. È necessaria una sincronizzazione aggiuntiva tra dispositivi per consentire agli utenti di interagire con gli ologrammi e visualizzare gli spostamenti o gli aggiornamenti dello stato degli ologrammi.
Condividere la prospettiva della prima persona
Sfruttare il supporto Miracast predefinito per gli utenti locali quando si dispone di un ricevitore Miracast supportato, ad esempio un PC o una TV. Non è necessario alcun codice dell'app aggiuntivo.
Esperienza collaborativa multiutente
Iniziare con l'esercitazione sull'apprendimento multiutente, che sfrutta Ancoraggi nello spazio di Azure per gli utenti locali e Photon SDK per sincronizzare il contenuto/stato nella scena. Creare applicazioni collaborative in locale in cui ogni utente ha la propria prospettiva sugli ologrammi nella scena e può interagire completamente con gli ologrammi. Aggiornamenti vengono forniti in tutti i dispositivi e la gestione dei conflitti di interazione viene gestita da Photon.
Nota
Si noti che Photon è un prodotto non Microsoft, quindi potrebbe essere necessaria una relazione di fatturazione con Photon per prodotti e scalabilità per un utilizzo maggiore.
Lavoro futuro
Le funzionalità e le interfacce dei componenti consentono di fornire coerenza comune e supporto affidabile nei vari scenari e tecnologie sottostanti. Fino a quel punto, scegliere il percorso migliore che si allinea allo scenario che si sta tentando di ottenere nell'applicazione.
Diverso scenario o desiderio di usare un'altra tecnologia/servizio? Inviare commenti e suggerimenti come problemi di GitHub nel repository corrispondente, nella parte inferiore di questa pagina o contattare HoloDevelopers slack.