Servizio di simulazione di input - MRTK2
Con la simulazione di input di MRTK, è possibile testare vari tipi di interazioni nell'editor di Unity senza compilare e distribuire in un dispositivo. Ciò consente di scorrere rapidamente le proprie idee nel processo di progettazione e sviluppo. Usare combinazioni di tastiera e mouse per controllare gli input simulati.
Il servizio simulazione input emula il comportamento dei dispositivi e delle piattaforme che potrebbero non essere disponibili nell'editor unity. Tra gli esempi sono inclusi:
- Rilevamento della testa del dispositivo HoloLens o VR
- Movimenti delle mani di HoloLens
- HoloLens 2 rilevamento mano articolato
- HoloLens 2 rilevamento oculare
- Controller di dispositivo VR
Avviso
Questa operazione non funziona quando si usa la modalità di emulazione olografica > XR di Unity = "Simulate in Editor". La simulazione in-editor di Unity porterà il controllo dalla simulazione di input di MRTK. Per usare il servizio di simulazione di input MRTK, è necessario impostare XR Holographic Emulation Mode = "Nessuno"
Come usare la simulazione di input MRTK
La simulazione di input è abilitata per impostazione predefinita nei profili che vengono forniti con MRTK. È sufficiente fare clic sul pulsante Play per eseguire la scena con il supporto per la simulazione di input.
- Premere W, A, S, D, Q, E key per spostare la fotocamera.
- Tenere premuto il pulsante Destro del mouse e spostare il mouse per guardare intorno.
- Per visualizzare le mani simulate, premere Barra spazio (mano destra) o Tasto maiusc a sinistra (mano sinistra)
- Per mantenere le mani simulate nella visualizzazione, premere T o Y
- Per ruotare le mani simulate, premere e tenere premuto CTRL e spostare il mouse
Nel foglio di simulazione dell'input dell'editor
Premere CTRL a sinistra + H nella scena HandInteractionExamples per visualizzare un foglio di controllo con i controlli simulazione input.
Abilitazione del servizio di simulazione di input
Nella configurazione del provider di dati di sistema di input è possibile configurare il servizio Simulazione input con quanto segue.
- Il tipo deve essere Microsoft.MixedReality.Toolkit.InputSimulationService>.
- Le piattaforme supportate per impostazione predefinita includono tutte le piattaforme editor , poiché il servizio usa l'input della tastiera e del mouse.
Nota
Il servizio Simulazione input può essere usato in altri endpoint della piattaforma, ad esempio autonomi modificando la proprietà Platform supportato in modo da includere le destinazioni desiderate.
Controllo fotocamera
Lo spostamento della testa può essere emulato dal servizio simulazione di input.
Rotazione della fotocamera
- Passare il puntatore del mouse sulla finestra dell'editor viewport. Potrebbe essere necessario fare clic sulla finestra per dare lo stato attivo all'input se i pulsanti non funzionano.
- Premere e tenere premuto il pulsante look del mouse (impostazione predefinita: pulsante destro del mouse).
- Spostare il mouse nella finestra del riquadro di visualizzazione per ruotare la fotocamera.
- Usare la rotellina di scorrimento per scorrere la fotocamera intorno alla direzione della visualizzazione.
La velocità di rotazione della fotocamera può essere configurata modificando l'impostazione Velocità aspetto mouse nel profilo di simulazione di input.
In alternativa, usare gli assi Look Orizzontale/Verticale per ruotare la fotocamera (impostazione predefinita: controller di gioco a destra).
Spostamento della videocamera
Usare gli assi Move Horizontal/Move Vertical per spostare la fotocamera (impostazione predefinita: chiavi WASD o controller di gioco a sinistra).
Anche la posizione della fotocamera e gli angoli di rotazione possono essere impostati in modo esplicito nella finestra degli strumenti. La fotocamera può essere reimpostata per impostazione predefinita usando il pulsante Reimposta .
Simulazione controller
La simulazione di input supporta dispositivi controller emulati ,ad esempio controller di movimento e mani. Questi controller virtuali possono interagire con qualsiasi oggetto che supporta controller regolari, ad esempio pulsanti o oggetti afferrabili.
Modalità simulazione controller
Nella finestra degli strumenti di simulazione di input l'impostazione Modalità simulazione controller predefinita passa da tre modelli di input distinti. Questa modalità predefinita può essere impostata anche nel profilo di simulazione di input.
Mani articolate: simula un dispositivo mano completamente articolato con dati di posizione congiunta.
Emula HoloLens 2 modello di interazione.
Le interazioni basate sulla posizione precisa della mano o sull'uso del tocco possono essere simulate in questa modalità.
Movimenti delle mani: simula un modello di mano semplificato con tocco d'aria e movimenti di base.
Emula il modello di interazione HoloLens.
Lo stato attivo viene controllato usando il puntatore sguardo. Il movimento Air Tap viene usato per interagire con i pulsanti.
Controller di movimento: simula un controller di movimento usato con visori VR che funzionano in modo analogo alle interazioni con mani articolate.
Emula il visore VR con il modello di interazione dei controller.
Il trigger, afferrare e i tasti di menu vengono simulati tramite tastiera e input del mouse.
Simulazione dello spostamento del controller
Premere e tenere premuto il tasto di manipolazione del controller sinistro/destro (impostazione predefinita: Maiusc a sinistra per il controller sinistro e Lo spazio per il controller destro) per ottenere il controllo di entrambi i controller. Mentre il tasto di manipolazione viene premuto, il controller verrà visualizzato nel riquadro di visualizzazione. Una volta rilasciata la chiave di manipolazione, i controller scompariranno dopo un breve timeout nascondi timeout del controller.
I controller possono essere attivati e bloccati rispetto alla fotocamera nella finestra degli strumenti di simulazione di input o premendo il tasto Toggle Left/Right Controller ( impostazione predefinita: T per sinistra e Y per destra). Premere di nuovo il tasto attiva per nascondere di nuovo i controller. Per modificare i controller, è necessario tenere la chiave di manipolazione del controller a sinistra/destra . Il doppio tocco della chiave di manipolazione del controller a sinistra/destra può anche attivare/disattivare i controller.
Lo spostamento del mouse sposta il controller nel piano di visualizzazione. I controller possono essere spostati ulteriormente o più vicini alla fotocamera usando la rotellina del mouse.
Per ruotare i controller usando il mouse, tenere premuto il tasto di manipolazione del controller sinistro/destro (maiusc o spazio a sinistra) e il pulsante Ruota controller (impostazione predefinita: pulsante CTRL sinistro) e quindi spostare il mouse per ruotare il controller. La velocità di rotazione del controller può essere configurata modificando l'impostazione Velocità rotazione controller del mouse nel profilo di simulazione di input.
Tutto il posizionamento della mano può anche essere modificato nella finestra degli strumenti di simulazione di input, inclusa la reimpostazione delle mani per impostazione predefinita.
Impostazioni del profilo aggiuntive
- Controller Depth Multiplier controlla la sensibilità del movimento di profondità della rotellina di scorrimento del mouse. Un numero maggiore accelera lo zoom del controller.
- La distanza del controller predefinita è la distanza iniziale dei controller dalla fotocamera. Facendo clic sul controller del pulsante Reimposta verranno posizionati anche i controller a questa distanza.
- Il controller Jitter Amount aggiunge il movimento casuale ai controller. Questa funzionalità può essere usata per simulare il rilevamento non accurato del controller nel dispositivo e assicurarsi che le interazioni funzionino bene con l'input rumoroso.
Movimenti della mano
Movimenti delle mani, ad esempio pizzicamento, afferramento, pok e così via. può anche essere simulato.
Abilitare il controllo mano usando il tasto di manipolazione del controller sinistro/destro (maiusc o spazioa sinistra)
Durante la manipolazione, premere e tenere premuto un pulsante del mouse per eseguire un gesto di mano.
È possibile eseguire il mapping di ognuno dei pulsanti del mouse per trasformare la forma della mano in un movimento diverso usando le impostazioni Movimento mano mano sinistra /centrale/destra . Il movimento di mano predefinito è la forma della mano quando non viene premuto alcun pulsante.
Nota
Il movimento Pinch è l'unico gesto che esegue l'azione "Select" a questo punto.
Manipolazione a una mano
- Premere e tenere premuto tasto di manipolazione del controller sinistro/destro (maiuscole ospazi)
- Punto all'oggetto
- Tenere premuto il pulsante del mouse per il pizzicamento
- Usare il mouse per spostare l'oggetto
- Rilasciare il pulsante del mouse per arrestare l'interazione
Manipolazione a due mani
Per modificare gli oggetti con due mani contemporaneamente, è consigliabile usare la modalità mano persistente.
- Attivare l'interruttore su entrambe le mani premendo i tasti di attivazione (T/Y).
- Modificare una mano alla volta:
- Tenere spazio per controllare la mano destra
- Spostare la mano in cui si vuole afferrare l'oggetto
- Premere il pulsante sinistro del mouse per attivare il movimento Pinch .
- Rilascia spazio per interrompere il controllo della mano destra. La mano sarà bloccata sul posto e sarà bloccata nel gesto Di pizzica perché non viene più manipolata.
- Ripetere il processo con l'altra mano, afferrando lo stesso oggetto in un secondo punto.
- Ora che entrambe le mani afferrano lo stesso oggetto, è possibile spostarle per eseguire la manipolazione a due mani.
Interazione GGV (Sguardo, Movimento e Voce)
Per impostazione predefinita, l'interazione GGV è abilitata nell'editor mentre non sono presenti mani articolate nella scena.
- Ruotare la fotocamera per puntare il cursore dello sguardo all'oggetto interagiscibile (pulsante destro del mouse)
- Fare clic e tenere premuto il pulsante sinistro del mouse per interagire
- Ruotare di nuovo la fotocamera per modificare l'oggetto
È possibile disattivare attivando l'opzione Is Hand Free Input Enabled all'interno del profilo di simulazione di input.
È inoltre possibile usare mani simulate per l'interazione con GGV
- Abilitare la simulazione GGV passando alla modalità simulazione mano ai movimenti nel profilo di simulazione di input
- Ruotare la fotocamera per puntare il cursore dello sguardo all'oggetto interagiscibile (pulsante destro del mouse)
- Tenere spazio per controllare la mano destra
- Fare clic e tenere premuto il pulsante sinistro del mouse per interagire
- Usare il mouse per spostare l'oggetto
- Rilasciare il pulsante del mouse per arrestare l'interazione
Generazione di eventi di teleporto
Per generare l'evento di teleporto nella simulazione di input, configurare le impostazioni del movimento della mano nel profilo di simulazione di input in modo che una esegue il movimento di avvio del teleporto mentre l'altra esegue il movimento di fine del teleporto . Il movimento Di avvio del teleporto visualizzerà il puntatore teleporto, mentre il teleport End gesure completerà l'azione di teleporto e sposta l'utente.
La posizione y del teleporto risultante dipende dallo spostamento della fotocamera lungo l'asse y. Nell'editor si tratta di 0 per impostazione predefinita, quindi usare le chiavi Q e E per modificarle all'altezza appropriata.
Interazione del controller di movimento
I controller di movimento simulati possono essere manipolati nello stesso modo in cui le mani articolate sono. Il modello di interazione è simile all'interazione molto lunga della mano articolata mentre il trigger, afferrare e i tasti di menu vengono mappati rispettivamente al pulsante del mouse sinistro, G e M .
Tracciamento oculare
La simulazione di rilevamento oculare può essere abilitata controllando l'opzione Simula posizione oculare nel profilo di simulazione input. Questa operazione non deve essere usata con interazioni di stile GGV o del controller di movimento (quindi assicurarsi che la modalità simulazione controller predefinita sia impostata su Mano articolata).
Finestra Strumenti di simulazione di input
Abilitare la finestra degli strumenti di simulazione di input dal menu Realtà mista>Toolkit>Utilities>Input Simulation. Questa finestra fornisce l'accesso allo stato della simulazione di input durante la modalità di riproduzione.
Pulsanti Viewport (facoltativo)
È possibile specificare un prefab per i pulsanti nell'editor per controllare il posizionamento della mano di base nel profilo di simulazione di input in Indicatori Prefab. Questa è un'utilità facoltativa, le stesse funzionalità possono essere accessibili nella finestra degli strumenti di simulazione di input.
Nota
Gli indicatori del riquadro di visualizzazione sono disabilitati per impostazione predefinita, poiché attualmente possono interferire con le interazioni dell'interfaccia utente di Unity. Vedere il problema #6106. Per abilitare, aggiungere il prefab InputSimulationIndicators prefab a Indicatori Prefab.
Le icone della mano mostrano lo stato delle mani simulate:
La mano non è tracciata. Fare clic per abilitare la mano.
La mano viene tracciata, ma non controllata dall'utente. Fare clic per nascondere la mano.
Icona di La mano viene monitorata e controllata dall'utente. Fare clic per nascondere la mano.
Fare clic per reimpostare la mano sulla posizione predefinita.