Introduzione alle interazioni istintive

Articolo
03/21/2023

Manipolazione da lontano con le mani

La filosofia delle interazioni semplici e istintive è alla base di tutta la piattaforma di realtà mista. Abbiamo adottato tre accorgimenti per consentire ai progettisti e agli sviluppatori di applicazioni di fornire ai clienti interazioni facili e intuitive.

Per prima cosa, abbiamo verificato che i sensori e le tecnologie di input si combinino in modelli di interazione multimodale. Questi modelli di interazione includono tracciamento della mano e oculare insieme all'input in linguaggio naturale. In base alle nostre ricerche, le attività di progettazione e sviluppo all'interno di un framework multimodale (e non basate su singoli input) sono la chiave di volta per creare esperienze istintive.

In secondo luogo, constatiamo che molti sviluppatori destinano le loro applicazioni a più dispositivi HoloLens, come HoloLens 2 e HoloLens (prima generazione) oppure HoloLens e VR. Abbiamo quindi progettato modelli di interazione in grado di funzionare in tutti i dispositivi, anche se la tecnologia di input varia da uno all'altro. Ad esempio, per l'interazione da lontano con un visore VR immersive di Windows dotato di un controller 6DoF e con un dispositivo HoloLens 2 vengono usati gli stessi inviti e modelli. Questo consente di semplificare lo sviluppo di applicazioni per più dispositivi e assicura interazioni più naturali con gli utenti.

Anche se riconosciamo che possono esistere migliaia di interazioni efficaci, coinvolgenti e magiche nella realtà mista, abbiamo constatato che l'uso intenzionale di un unico modello di interazione in un'applicazione è il modo migliore per garantire agli utenti risultati ottimali e un'esperienza eccezionale. A questo scopo, in queste indicazioni relative all'interazione abbiamo incluso tre aspetti:

Materiale specifico incentrato sui tre principali modelli di interazione e sui componenti e schemi necessari per ciascun modello.
Istruzioni supplementari su altri vantaggi offerti dalla piattaforma.
Indicazioni di carattere generale, utili per selezionare il modello di interazione appropriato per uno scenario di sviluppo specifico.

Demo di rilevamento della mano di base e interazioni istintive

Vedere la demo video Designing Holograms - Head Tracking and Eye Tracking sotto, quindi passare ad argomenti più specifici:

Questo video è stato tratto dall'app "Designing Holograms" HoloLens 2. Scaricare e godere dell'esperienza completa qui.

Modelli di interazione multimodale

In base alle nostre ricerche e al feedback dei clienti, abbiamo scoperto che la maggior parte delle esperienze di realtà mista viene soddisfatta da tre principali modelli di interazione. Per molti versi, il modello di interazione è lo schema mentale seguito dall'utente per completare un flusso di lavoro. Ognuno di questi modelli di interazione è ottimizzato per una serie di esigenze dei clienti ed è comodo, efficiente e applicabile se usato in modo corretto.

La classifica seguente offre una panoramica semplificata. Informazioni dettagliate per l'utilizzo di ogni modello di interazione sono collegate a immagini ed esempi di codice nelle pagine seguenti.

Modello	Scenari di esempio	Destinatari	Hardware
Mani e controller del movimento	Esperienze nello spazio 3D, ad esempio layout e progettazione dello spazio, manipolazione di contenuti o simulazione.	Ideale per i nuovi utenti, in combinazione con comandi vocali, tracciamento oculare o puntamento con la testa. Curva di apprendimento bassa. Esperienza utente coerente con tracciamento delle mani e controller 6DoF.	HoloLens 2 Visori VR immersive
Mani libere	Esperienze contestuali in cui le mani dell'utente sono occupate, ad esempio apprendimento sul posto e manutenzione.	È necessario un certo livello di apprendimento. Se le mani non sono disponibili, il dispositivo si adatta bene a comandi vocali e linguaggio naturale.	HoloLens 2 HoloLens (prima generazione) Visori VR immersive
Sguardo e commit	Esperienze click-through, ad esempio presentazioni 3D e demo.	È necessario eseguire il training in dispositivi HMD, non in dispositivi mobili. Ideale per controller accessibili. Ideale per HoloLens (prima generazione).	HoloLens 2 HoloLens (prima generazione) Visori VR immersive AR per dispositivi mobili

Per evitare lacune nell'esperienza di interazione dell'utente, è preferibile seguire le indicazioni per un singolo modello dall'inizio alla fine.

Le sezioni seguenti illustrano la procedura di selezione e implementazione di uno di questi modelli di interazione.

Al termine di questa pagina, si sarà appreso quanto segue:

Scegliere un modello di interazione per il cliente
Implementare il modello di interazione
Passare da un modello di interazione all'altro
Progettare i passaggi successivi

Scegliere un modello di interazione per il cliente

In genere, gli sviluppatori e gli autori valutano tutti i tipi di interazione che i clienti possono avere. Per incoraggiare un approccio alla progettazione incentrato sul cliente, è consigliabile attenersi alle indicazioni seguenti per selezionare il modello di interazione ottimizzato per il cliente specifico.

Perché seguire le indicazioni?

I nostri modelli di interazione sono testati in base a criteri oggettivi e soggettivi, tra cui lo sforzo fisico e cognitivo, l'intuitività e la capacità di apprendimento.
Poiché esistono diversi tipi di interazione, è possibile che anche gli inviti audio/video e il comportamento degli oggetti siano diversi da un modello di interazione all'altro.
Combinando parti di diversi modelli di interazione si rischia di ottenere inviti concorrenti, ad esempio raggi della mano simultanei e un cursore di puntamento con la testa. Tutto questo può inondare l'utente di troppe informazioni e confonderlo.

Ecco alcuni esempi di come sono ottimizzati gli inviti e i comportamenti per ogni modello di interazione. Notiamo spesso che le domande dei nuovi utenti sono simili, ad esempio: "Come si può capire se il sistema funziona?" , "Come si può sapere quali azioni si possono eseguire?" e "Come si può sapere se il sistema ha capito quali azioni sono state eseguite?"

Modello	Come si può capire se il sistema funziona?	Come si può sapere quali azioni si possono eseguire?	Come si può sapere quali azioni sono state eseguite?
Mani e controller del movimento	Si vede una mesh mano, un invito punta del dito o raggi della mano/controller.	Si vedono punti di controllo afferrabili o un riquadro delimitatore quando si avvicina la mano a un oggetto.	Si sentono toni udibili e si vedono animazioni al momento di afferrare e rilasciare oggetti.
Puntamento con la testa e commit	Si vede un cursore al centro del campo visivo.	Il cursore cambia stato quando è posizionato su determinati oggetti.	Si vedono conferme visive e/o si sentono conferme udibili quando si intraprendono azioni.
Mani libere (puntamento con la testa e attesa)	Si vede un cursore al centro del campo visivo.	Si vede un indicatore di stato quando ci si sofferma su un oggetto con supporto per interazioni.	Si vedono conferme visive e/o si sentono conferme udibili quando si intraprendono azioni.
Mani libere (esecuzione di comandi vocali)	Si vedono un indicatore di ascolto e sottotitoli che mostrano quello che il sistema ha sentito.	Si ricevono messaggi vocali e suggerimenti. Quando si dice: "Cosa posso dire?" viene visualizzato un messaggio di feedback.	Si vedono o si sentono conferme visive o udibili quando si dà un comando o si ottiene una disambiguazione dell'esperienza utente, se necessario.

Di seguito sono riportate alcune domande che, in base ai nostri riscontri, possono aiutare i team a scegliere un modello di interazione:

D: Gli utenti vogliono toccare ologrammi ed eseguire manipolazioni olografiche di precisione?

R: in tal caso, consultare il modello di interazione mani e controller di movimento per la precisione e la manipolazione.
D: Gli utenti devono mantenere le mani libere per le attività reali?

R: In tal caso, esaminare il modello di interazione senza mani, che offre un'ottima esperienza pratica attraverso interazioni basate su sguardo e voce.
D: Gli utenti hanno tempo per apprendere le interazioni per l'applicazione MR o hanno bisogno delle interazioni con la curva di apprendimento più bassa possibile?

R: Per la curva di apprendimento più bassa e le interazioni più intuitive, è consigliabile usare il modello Mani e controller del movimento, purché gli utenti possano usare le mani per l'interazione.
D: Gli utenti usano i controller di movimento per puntare e manipolare?

R: Il modello Mani e controller del movimento include tutte le linee guida per un'esperienza ottimale con i controller del movimento.
D: Gli utenti usano un controller di accessibilità o un controller Bluetooth comune, ad esempio un clicker?

R: È consigliabile usare il modello head-gaze e commit per tutti i controller non rilevati. studiato per consentire a un utente di vivere un'intera esperienza in base a un semplice meccanismo di "selezione della destinazione e commit".
D: Gli utenti attraversano un'esperienza in modalità "click-through", ad esempio in un ambiente simile a una presentazione 3D, invece di spostarsi all'interno di layout pieni di controlli di interfaccia?

R: Se gli utenti non devono controllare molte interfacce utente, lo sguardo con la testa e il commit offrono un'opzione imparabile in cui gli utenti non devono preoccuparsi della destinazione.
D: Gli utenti usano sia HoloLens (prima generazione) che HoloLens 2/Windows Mixed Reality visori VR immersive?

R: Poiché lo sguardo con la testa e il commit sono il modello di interazione per HoloLens (prima generazione), è consigliabile che gli autori che supportano HoloLens (prima generazione) usino lo sguardo con la testa e eseseguono il commit per tutte le funzionalità o le modalità che gli utenti avranno in un visore VR HoloLens (prima generazione). Per informazioni dettagliate su come offrire un'esperienza eccezionale per più generazioni di HoloLens, vedere la prossima sezione relativa al passaggio da un modello di interazione all'altro.
D: Quali sono le indicazioni per gli utenti che usano dispositivi mobili, muovendosi in uno spazio di grandi dimensioni o spostandosi da uno spazio all'altro, e per quelli che tendono a operare in un unico spazio?

R: Tutti i modelli di interazione funzioneranno per questi utenti.

Nota

Saranno presto disponibili altre istruzioni di progettazione specifiche per le app.

Passaggio da un modello di interazione all'altro

Per alcuni casi d'uso può essere necessario impiegare più modelli di interazione. Ad esempio, per il flusso di creazione di un'applicazione viene usato il modello di interazione "mani e controller del movimento" , ma per i tecnici sul campo è preferibile adottare una modalità a mani libere. Se per un'esperienza sono necessari più modelli di interazione, gli utenti possono avere difficoltà a passare da un modello all'altro, in particolare gli utenti che hanno scarsa familiarità con la realtà mista.