Servizio di simulazione input

Il servizio di simulazione input emula il comportamento di dispositivi e piattaforme che potrebbero non essere disponibili nell'editor di Unity. Alcuni esempi:

  • Rilevamento della testa del dispositivo HoloLens o VR
  • Movimenti della mano di HoloLens
  • HoloLens 2 tracciamento delle mani articolato
  • HoloLens 2 tracciamento oculare
  • Controller del dispositivo VR

Gli utenti possono usare una combinazione convenzionale di tastiera e mouse per controllare i dispositivi simulati in fase di esecuzione. Questo approccio consente di testare le interazioni nell'editor di Unity senza prima eseguire la distribuzione in un dispositivo.

Avviso

Questa operazione non funziona quando si usa l'emulazione olografica XR di Unity > emulazione = "Simula nell'editor". La simulazione nell'editor di Unity prenderà il controllo dalla simulazione di input di MRTK. Per usare il servizio di simulazione dell'input MRTK, è necessario impostare XR Holographic Emulation (Emulazione olografica XR) su Emulation Mode = "None" (Modalità di emulazione = "Nessuno)

Abilitazione del servizio di simulazione dell'input

La simulazione di input è abilitata per impostazione predefinita nei profili forniti con MRTK.

Nella configurazione del provider di dati del sistema di input, il servizio Simulazione input può essere configurato con quanto segue.

  • Il tipo deve essere Microsoft.MixedReality.Toolkit.Input > InputSimulationService.
  • Le piattaforme supportate per impostazione predefinita includono tutte le piattaforme dell'editor, poiché il servizio usa l'input da tastiera e mouse.

Nota

Il servizio Simulazione input può essere usato in altri endpoint della piattaforma, ad esempio autonomo, modificando la proprietà Piattaforma/i supportata/i in modo da includere le destinazioni desiderate. Piattaforme supportate per simulazione di input

Finestra degli strumenti di simulazione di input

Abilitare la finestra degli strumenti di simulazione dell'input dal menu Mixed Reality Toolkit > Utilities > Input Simulation (Simulazione input utilità mixed reality toolkit). Questa finestra consente di accedere allo stato della simulazione di input durante la modalità di riproduzione.

Pulsanti del riquadro di visualizzazione

È possibile specificare un prefab per i pulsanti nell'editor per controllare il posizionamento della mano di base nel profilo di simulazione di input in Indicators Prefab. Si tratta di un'utilità facoltativa. È possibile accedere alle stesse funzionalità nella finestra degli strumenti di simulazione di input.

Nota

Gli indicatori del viewport sono disabilitati per impostazione predefinita, in quanto possono talvolta interferire con le interazioni dell'interfaccia utente di Unity. Vedere il problema #6106. Per abilitare, aggiungere il prefab InputSimulationIndicators a Indicators Prefab.

Le icone a mano mostrano lo stato delle mani simulate:

  • Icona a forma di mano non tracciata La mano non viene tracciata. Fare clic per abilitare la mano.
  • Icona mano tracciata La mano viene tracciata, ma non controllata dall'utente. Fare clic per nascondere la mano.
  • Icona della mano controllata La mano viene rilevata e controllata dall'utente. Fare clic per nascondere la mano.
  • Icona a forma di mano di reimpostazione Fare clic per ripristinare la posizione predefinita della mano.

Nel foglio di verifica della simulazione di input dell'editor

Premere CTRL SINISTRO + H nella scena HandInteractionExamples per visualizzare un foglio di trucchi con i controlli di simulazione input.

Foglio di verifica della simulazione di input

Controllo fotocamera

Lo spostamento della testa può essere emulato dal servizio simulazione di input.

Rotazione della fotocamera

  1. Passare il puntatore del mouse sulla finestra dell'editor del riquadro di visualizzazione. Potrebbe essere necessario fare clic sulla finestra per assegnare lo stato attivo all'input se i pulsanti non funzionano.
  2. Tenere premuto il pulsante Di visualizzazione del mouse (impostazione predefinita: Pulsante destro del mouse).
  3. Spostare il mouse nella finestra del viewport per ruotare la fotocamera.
  4. Usare la rotellina di scorrimento per ruotare la fotocamera intorno alla direzione di visualizzazione.

La velocità di rotazione della fotocamera può essere configurata modificando l'impostazione Mouse Look Speed nel profilo di simulazione di input.

In alternativa, usare gli assi Look Horizontal Look Vertical (Look Horizontal Look Vertical) per ruotare la fotocamera (impostazione predefinita: la levetta destra del / controller di gioco).

Spostamento della videocamera

Usare gli assi Sposta / orizzontale verticale per spostare la fotocamera (impostazione predefinita: tasti WASD o levetta a sinistra del controller di gioco).

La posizione e gli angoli di rotazione della fotocamera possono essere impostati in modo esplicito anche nella finestra degli strumenti. La fotocamera può essere reimpostata sul valore predefinito usando il pulsante Reimposta.

Simulazione controller

La simulazione di input supporta dispositivi controller emulati (ad esempio controller di movimento e mani). Questi controller virtuali possono interagire con qualsiasi oggetto che supporta controller regolari, ad esempio pulsanti o oggetti afferrabili.

Modalità simulazione controller

Nella finestra degli strumenti di simulazione dell'input l'impostazione Modalità di simulazione controller predefinita consente di alternare tre modelli di input distinti. Questa modalità predefinita può essere impostata anche nel profilo di simulazione di input.

  • Mani articolate: simula un dispositivo a mano completamente articolato con dati di posizione giunzione.

    Emula HoloLens 2 di interazione.

    In questa modalità è possibile simulare interazioni basate sul posizionamento preciso della mano o sull'uso del tocco.

  • Movimenti della mano: simula un modello di mano semplificato con tocco d'aria e movimenti di base.

    Emula il modello di interazione di HoloLens.

    Lo stato attivo viene controllato usando il puntatore Sguardo fisso. Il movimento tocco viene usato per interagire con i pulsanti.

  • Controller del movimento: simula un controller del movimento usato con visori VR che funziona in modo analogo alle interazioni da lontano con le mani articolate.

    Emula il visore VR con il modello di interazione dei controller.

    I tasti di attivazione, cattura e menu vengono simulati tramite input da tastiera e mouse.

Simulazione del movimento del controller

Per ottenere il controllo di uno dei due controller, tieni premuto il tasto di manipolazione del controller sinistro/destro (impostazione predefinita: Maiusc di sinistra per il controller sinistro e Spazio per il controller destro). Mentre viene premuto il tasto di manipolazione, il controller verrà visualizzato nel viewport. Dopo il rilascio della chiave di manipolazione, i controller scompariranno dopo un breve timeout di nascondere il controller.

I controller possono essere attivati e bloccati rispetto alla fotocamera nella finestra degli strumenti di simulazione di input o premendo Toggle Left/Right Controller Key (Attiva/Disattiva tasto controller sinistro/destro) (impostazione predefinita: T per sinistra e Y per destra). Premere di nuovo l'interruttore per nascondere di nuovo i controller. Per manipolare i controller, è necessario utilizzare la chiave di manipolazione del controller sinistro/destro. Toccando due volte la chiave di manipolazione del controller sinistro/destro è anche possibile attivare/disattivare i controller.

Lo spostamento del mouse sposterà il controller nel piano di visualizzazione. I controller possono essere spostati più avanti o più vicino alla fotocamera usando la rotellina del mouse.

Per ruotare i controller usando il mouse, tenere premuto il tasto di manipolazione del controller sinistro/destro (MAIUSC sinistro o SPAZIO) e il pulsante Ruota controller (impostazione predefinita: tasto CTRL SINISTRO) e quindi spostare il mouse per ruotare il controller. La velocità di rotazione del controller può essere configurata modificando l'impostazione Velocità rotazione controller mouse nel profilo di simulazione di input.

Tutto il posizionamento della mano può essere modificato anche nella finestra degli strumenti di simulazione dell'input,inclusa la reimpostazione delle mani sul valore predefinito.

Impostazioni del profilo aggiuntive

  • Il moltiplicatore di profondità del controller controlla la sensibilità dello spostamento della profondità della rotellina del mouse. Un numero maggiore velocizza lo zoom del controller.
  • Distanza controller predefinita è la distanza iniziale dei controller dalla fotocamera. Facendo clic sul pulsante Reimposta, i controller verranno posizionati anche a questa distanza.
  • Quantità di jitter del controller aggiunge movimento casuale ai controller. Questa funzionalità può essere usata per simulare un rilevamento non accurato del controller nel dispositivo e garantire che le interazioni funzionino correttamente con l'input rumoroso.

Movimenti della mano

È anche possibile simulare movimenti della mano, ad esempio avvicinamento, afferramento, poking e così via.

  1. Abilitare il controllo manuale usando il tasto di manipolazione del controller sinistro/destro (MAIUSC sinistro o SPAZIO)

  2. Durante la manipolazione, tenere premuto un pulsante del mouse per eseguire un movimento della mano.

È possibile eseguire il mapping di ognuno dei pulsanti del mouse per trasformare la forma della mano in un movimento diverso usando le impostazioni movimento mano sinistra/centro/destra. Il movimento manuale predefinito è la forma della mano quando non viene premuto alcun pulsante.

Nota

Il movimento avvicinamento delle dita è l'unico movimento che esegue l'azione "Seleziona" a questo punto.

Manipolazione con una mano

  1. Premere e tenere premuto il tasto di manipolazione del controller sinistro/destro (MAIUSC sinistro o SPAZIO)
  2. Punto in corrispondenza dell'oggetto
  3. Tenere premuto il pulsante del mouse per avvicinare le dita
  4. Usare il mouse per spostare l'oggetto
  5. Rilasciare il pulsante del mouse per arrestare l'interazione

Manipolazione a due mani

Per la manipolazione di oggetti con due mani contemporaneamente, è consigliabile la modalità mano persistente.

  1. Attivare o disattivare entrambe le mani premendo i tasti di alternanza (T/Y).
  2. Modificare una mano alla volta:
    1. Tenere premuto lo spazio per controllare la mano destra
    2. Spostare la mano nel punto in cui si vuole afferrare l'oggetto
    3. Premere il pulsante sinistro del mouse per attivare il movimento avvicinamento delle dita.
    4. Rilasciare lo spazio per interrompere il controllo della mano destra. La mano verrà bloccata sul posto e bloccata nel movimento avvicinamento delle dita perché non viene più manipolata.
  3. Ripetere il processo con l'altra mano, afferrando lo stesso oggetto in un secondo punto.
  4. Ora che entrambe le mani afferrano lo stesso oggetto, puoi spostarle per eseguire la manipolazione a due mani.

Interazione GGV (sguardo fisso, movimento e voce)

Per impostazione predefinita, l'interazione GGV è abilitata nell'editor, mentre nella scena non sono presenti mani articolate.

  1. Ruotare la fotocamera in modo che punti il cursore dello sguardo fisso sull'oggetto intervienibile (pulsante destro del mouse)
  2. Fare clic e tenere premuto il pulsante sinistro del mouse per interagire
  3. Ruotare di nuovo la fotocamera per modificare l'oggetto

È possibile disattivare questa opzione attivando l'opzione Is Hand Free Input Enabled (Input senza mano abilitato) all'interno del profilo di simulazione input.

È anche possibile usare le mani simulate per l'interazione GGV

  1. Abilitare la simulazione GGV impostando Modalità simulazione manuale su Movimenti nel profilo di simulazione input
  2. Ruotare la fotocamera in modo che punti il cursore dello sguardo fisso sull'oggetto intervienibile (pulsante destro del mouse)
  3. Tenere premuto lo spazio per controllare la mano destra
  4. Fare clic e tenere premuto il pulsante sinistro del mouse per interagire
  5. Usare il mouse per spostare l'oggetto
  6. Rilasciare il pulsante del mouse per arrestare l'interazione

Generazione di eventi di teletrasporto

Per generare l'evento di teletrasporto nella simulazione di input, configurare le impostazioni del movimento della mano nel profilo di simulazione input in modo che uno esegua il movimento di inizio del teletrasporto, mentre l'altro esegua il movimento di fine teletrasporto. Il movimento Teleport Start (Inizio teletrasporto) attiva l'indicatore di misura teletrasporto, mentre la gesure Teleport End (Fine teletrasporto) completa l'azione di teletrasporto e sposta l'utente.

La posizione y del teletrasporto risultante dipende dall'spostamenti della fotocamera lungo l'asse y. Nell'editor questo valore è 0 per impostazione predefinita, quindi usare i tasti Q ed E per adattarlo all'altezza appropriata.

Impostazioni di teletrasporto simulazione input

Interazione del controller del movimento

I controller del movimento simulati possono essere manipolati allo stesso modo delle mani articolate. Il modello di interazione è simile all'interazione da lontano della mano articolata, mentre il trigger, la cattura e i tasti di menu sono mappati rispettivamente al pulsante sinistro del mouse, ai tasti G e M.

Tracciamento oculare

La simulazione del tracciamento oculare può essere abilitata selezionando l'opzione Simulate Eye Position (Simula posizione oculare) in Input Simulation Profile (Profilo simulazione input). Questa opzione non deve essere usata con interazioni in stile GGV o controller del movimento (assicurarsi quindi che La modalità di simulazione controller predefinita sia impostata su Mano articolata).

Vedi anche