Coach mano
L'allenatore a mano attiva le mani modellate 3D quando il sistema non rileva le mani dell'utente. Questa funzionalità è un componente di "insegnamento" che aiuta a guidare l'utente quando il gesto non è stato insegnato. Se gli utenti non hanno eseguito il movimento specificato per un periodo, le mani eseguiranno il ciclo con un ritardo. L'allenatore della mano può essere usato per rappresentare un pulsante o raccogliere un ologramma.
Allenatore a mano fornito
Il modello di interazione corrente rappresenta un'ampia gamma di controlli di movimento, ad esempio lo scorrimento, la selezione lontana e il tocco vicino. Di seguito è riportato un elenco completo dei movimenti di mano esistenti forniti in MRTK:
Esempio di Near Select - Viene illustrato come selezionare i pulsanti o chiudere gli oggetti interagisci
Esempio di tocco air - Usato per mostrare come selezionare gli oggetti che sono lontani
Esempio di spostamento di un oggetto nello spazio usato per mostrare come spostare un ologramma nello spazio
Esempio di Rotate-Used per illustrare come ruotare ologrammi o oggetti
Esempio di scalabilità- Usato per illustrare come modificare gli ologrammi per essere più grandi o più piccoli
Esempio di Palm up - Uso suggerito per visualizzare i menu a mano
Esempio di capovolgimento della mano: un altro modo per visualizzare i menu a mano
Esempio di scorrimento: usato per scorrere un elenco o un documento lungo
Concetti relativi alla progettazione
Per Hololens2, abbiamo progettato interazioni di mano basate su movimenti istintivi e naturali. Riteniamo che questi siano intuitivi per la maggior parte degli utenti, quindi non abbiamo creato momenti di apprendimento dei movimenti dedicati. È stato invece creato il coach della mano per aiutare gli utenti a conoscere questi movimenti se si bloccano o non hanno familiarità con le interazioni con ologrammi. Senza un momento di apprendimento, abbiamo sentito che mostrare agli utenti come eseguire un'azione dimostrando che sarebbe l'opzione migliore. Abbiamo scoperto che gli utenti sono stati in grado di capire il gesto, ma hanno bisogno di una piccola guida. Se si rileva che un utente non interagisce con un oggetto per un periodo, viene attivato un allenatore mano che mostra la corretta posizione delle mani e delle dita.
Intuitivo
Quando anima le mani, dovrebbe essere ovvio e non dovrebbe causare confusione. L'animazione della mano è una rappresentazione del movimento che si sta tentando di richiedere all'utente di comprendere.
Ad esempio, se si desidera che un utente preme un pulsante, verrà attivato un pulsante premendo un pulsante.
Hand Coach che mostra vicino a toccare un gioiello
Scala a mano
Abbiamo testato varie dimensioni della mano con i menu dell'interfaccia utente e si è sentito che se le mani erano vere a dimensioni, ha dato un sentimento menante. Se fossero troppo piccoli, era difficile vedere e comprendere il gesto.
Voce e mani
Non aspettatevi che gli utenti possano ascoltare un set di istruzioni tramite voce e watch istruzioni diverse tramite Hand coach. Sequenziare le istruzioni per aiutare gli utenti a concentrarsi rispetto alla loro attenzione per ridurre l'overload sensoriale.
Posso crearmi?
Sì. Ti consigliamo di creare un tuo gesto unico per il tuo gioco e di contribuire alla community! È stato fornito un file Maya di una mano disattivata che può essere usata per l'app, che può essere scaricata qui: Scaricare HandCoach_MRTK.zip
Esempio di mano animata Poking a box in Maya
Strumento di creazione consigliato
Tra gli artisti 3D, molti scelgono di usare Maya di Autodesk, che può usare HoloLens per trasformare il modo in cui vengono creati gli asset. Il file di mani fornito è un file binario Maya, quindi è consigliabile usare Maya per animare ed esportare le mani. Se si preferisce usare un altro programma 3D, ecco un . FBX: scaricare HandCoachMRTK_FBX.zip per creare una configurazione del controller personalizzata.
Se si usa il file di mano maya scaricabile fornito, è consigliabile ridimensionare le mani in unity a 0,6.
Mani ggate
Specifiche tecniche
- Il file a due mani è disponibile in formato Maya Ascii
- La mano destra e sinistra è disponibile in formato binario Maya
- Impostare il file Maya su 24 FPS
- All'interno del file è presente una mano sinistra e destra, che può essere usata per movimenti a due mani o a mano singola. La mano destra sarà visibile solo per impostazione predefinita.
- È consigliabile lasciare un buffer di circa 10 fotogrammi all'inizio e alla fine per le fades
- Se anima un oggetto con una destinazione specificata, è consigliabile animare una casella Predefinita o Null.
- Se la mano anima un oggetto fisico, ad esempio una casella, la procedura consigliata per non animare la traduzione in Maya ma attendere di animarla in Unity o in Codice.
- L'animazione visibile deve essere 1,5 sec per qualsiasi informazione significativa da trasmettere
- Quando ci si sente soddisfatti dell'animazione:
- Selezionare tutte le articolazioni e i fotogrammi chiave di bake
- Eliminare i controller, selezionare le articolazioni e le mesh ed esportare come FBX
- Se sono presenti più animazioni, è possibile usare l'esportazione di giochi incorporata di Maya: https://knowledge.autodesk.com/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2015/ENU/Maya/files/Game-Exporter-htm.html
Esportazione da Maya
Dopo aver soddisfatto l'animazione
Selezionare tutte le articolazioni: Selezionare > gerarchia
Bake l'animazione: passare all'animazione Bake chiave > di animazione >
Eliminare il Rig controller: struttura > MainR_Grp o MainL_Grp
Esporta come FBX: selezionare JNT + Mesh: Selezione esportazione file > (casella di opzione) > Esporta selezione esportazione
Quando si esporta come FBX e viene portato in Unity, ridimensionare le mani fino a 0,6. Abbiamo scoperto che questo era perfetto equilibrio per visualizzare le mani.
Impostazioni di Unity per HandCoach_R prefab trovato in MRTK
Implementazione delle mani nel progetto Unity
Procedure consigliate
È consigliabile ridimensionare le mani in unity a 0,6
Le mani devono essere riprodotte due volte e, se non è stato completato, il ciclo continuo fino al completamento del movimento. Le mani devono essere cicliate due volte per assicurarsi che l'utente abbia avuto il tempo di registrare e visualizzare il movimento. Le mani devono svanire e uscire tra i cicli.
Se le mani dell'utente sono visibili dalle fotocamere HL2, ma gli utenti non stanno eseguendo l'interazione necessaria per le mani verranno visualizzate dopo 10 secondi.
Se le mani dell'utente non sono visibili dalle fotocamere HL2, le mani verranno visualizzate dopo 5 secondi.
Se le mani dell'utente sono monitorate in modo visibile da telecamere HL2 al centro dell'animazione, l'animazione verrà completata e sadeta.
Se si include la voce, è consigliabile che corrisponda al gesto della mano.
Se le mani sono state insegnate almeno una volta, ripetere il gesto solo se viene rilevato che l'utente è bloccato.
Se le posizioni specifiche delle dita/mano sono critiche, assicurarsi che gli utenti possano vedere chiaramente queste sfumature nell'animazione. Provare a nglingare le mani in modo che le parti più importanti siano chiaramente visibili.
Se si nota una distorsione sulle mani, è necessario passare alle impostazioni Qualità di Unity aumenta il numero di ossa. Passare a Modifica > impostazioni > progetto di Unity Qualità > altri > pesi di blend. Assicurarsi che "4 ossa" siano selezionate per visualizzare Le articolazioni liscia.
Da evitare
- Ridimensionamento delle mani troppo grandi
- Posizionare le mani troppo vicine all'utente
- Le mani devono essere insegnate una sola volta. L'insegnamento può causare confusione e confusione
- Spostarlo in Unity, scaricare l'ultimo MRTK qui: https://github.com/microsoft/MixedRealityToolkit-Unity
- Materiale: Teaching_Hand2
- Script: fare riferimento alle linee guida MRTK per l'allenatore a mano MRTK
- Impostazione per progetto
- Scena impostata su UWP: l'istruzione è disponibile nell'articolo Configurare un nuovo progetto OpenXR con MRTK .