Servizio di simulazione di input - MRTK2

MRTK Input Simulation

Con la simulazione di input di MRTK, è possibile testare vari tipi di interazioni nell'editor di Unity senza compilare e distribuire in un dispositivo. Ciò consente di scorrere rapidamente le proprie idee nel processo di progettazione e sviluppo. Usare combinazioni di tastiera e mouse per controllare gli input simulati.

Il servizio simulazione input emula il comportamento dei dispositivi e delle piattaforme che potrebbero non essere disponibili nell'editor unity. Alcuni esempi:

  • HoloLens o rilevamento della testa del dispositivo VR
  • movimenti delle mani HoloLens
  • HoloLens 2 rilevamento mano articolato
  • HoloLens 2 rilevamento oculare
  • Controller di dispositivo VR

Avviso

Questa operazione non funziona quando si usa la modalità di emulazione > holografica XR di Unity = "Simulate in Editor". La simulazione in-editor di Unity porterà il controllo dalla simulazione di input di MRTK. Per usare il servizio di simulazione di input MRTK, è necessario impostare XR Holographic Emulation Mode = "Nessuno"

Come usare la simulazione di input MRTK

La simulazione di input è abilitata per impostazione predefinita nei profili che vengono forniti con MRTK. È sufficiente fare clic sul pulsante Play per eseguire la scena con il supporto per la simulazione di input.

  • Premere W, A, S, D, Q, E key per spostare la fotocamera.
  • Tenere premuto il pulsante Destro del mouse e spostare il mouse per guardare intorno.
  • Per visualizzare le mani simulate, premere Barra spazio (mano destra) o Tasto maiusc a sinistra (mano sinistra)
  • Per mantenere le mani simulate nella visualizzazione, premere T o Y
  • Per ruotare le mani simulate, premere e tenere premuto CTRL e spostare il mouse

Nel foglio di simulazione dell'input dell'editor

Premere CTRL a sinistra + H nella scena HandInteractionExamples per visualizzare un foglio di controllo con i controlli simulazione input.

MRTK Input Simulation Cheat Sheet

Abilitazione del servizio di simulazione di input

Nella configurazione del provider di dati di sistema di input è possibile configurare il servizio Simulazione input con quanto segue.

  • Il tipo deve essere Microsoft.MixedReality.Toolkit. Input InputSimulationService>.
  • Le piattaforme supportate per impostazione predefinita includono tutte le piattaforme editor , poiché il servizio usa l'input della tastiera e del mouse.

Nota

Il servizio Simulazione input può essere usato in altri endpoint della piattaforma, ad esempio autonomi modificando la proprietà Platform supportato in modo da includere le destinazioni desiderate.
Input Simulation Supported Platforms

controllo Fotocamera

Lo spostamento della testa può essere emulato dal servizio simulazione di input.

Rotazione della fotocamera

  1. Passare il puntatore del mouse sulla finestra dell'editor viewport. Potrebbe essere necessario fare clic sulla finestra per dare lo stato attivo all'input se i pulsanti non funzionano.
  2. Premere e tenere premuto il pulsante look del mouse (impostazione predefinita: pulsante destro del mouse).
  3. Spostare il mouse nella finestra del riquadro di visualizzazione per ruotare la fotocamera.
  4. Usare la rotellina di scorrimento per scorrere la fotocamera intorno alla direzione della visualizzazione.

Fotocamera velocità di rotazione può essere configurata modificando l'impostazione Velocità aspetto mouse nel profilo di simulazione di input.

In alternativa, usare gli assi Look Orizzontale/Verticale per ruotare la fotocamera (impostazione predefinita: controller di gioco a destra).

Spostamento della videocamera

Usare gli assi Move Horizontal/Move Vertical per spostare la fotocamera (impostazione predefinita: chiavi WASD o controller di gioco a sinistra).

anche Fotocamera angolo di posizione e rotazione possono essere impostati in modo esplicito nella finestra degli strumenti. La fotocamera può essere reimpostata per impostazione predefinita usando il pulsante Reimposta .

Simulazione controller

La simulazione di input supporta dispositivi controller emulati ,ad esempio controller di movimento e mani. Questi controller virtuali possono interagire con qualsiasi oggetto che supporta controller regolari, ad esempio pulsanti o oggetti afferrabili.

Modalità simulazione controller

Nella finestra degli strumenti di simulazione di input l'impostazione Modalità simulazione controller predefinita passa da tre modelli di input distinti. Questa modalità predefinita può essere impostata anche nel profilo di simulazione di input.

  • Mani articolate: simula un dispositivo mano completamente articolato con dati di posizione congiunta.

    Emula HoloLens 2 modello di interazione.

    Le interazioni basate sulla posizione precisa della mano o sull'uso del tocco possono essere simulate in questa modalità.

  • Movimenti delle mani: simula un modello di mano semplificato con tocco d'aria e movimenti di base.

    Emula HoloLens modello di interazione.

    Lo stato attivo viene controllato usando il puntatore sguardo. Il movimento Air Tap viene usato per interagire con i pulsanti.

  • Controller di movimento: simula un controller di movimento usato con visori VR che funzionano in modo analogo alle interazioni con le mani articolate.

    Emula il visore VR con il modello di interazione dei controller.

    Il trigger, afferrare e i tasti di menu vengono simulati tramite tastiera e input del mouse.

Simulazione dello spostamento del controller

Premere e tenere premuto il tasto di manipolazione del controller sinistro/destro (impostazione predefinita: Maiusc a sinistra per il controller sinistro e Lo spazio per il controller destro) per ottenere il controllo di entrambi i controller. Mentre il tasto di manipolazione viene premuto, il controller verrà visualizzato nel riquadro di visualizzazione. Una volta rilasciata la chiave di manipolazione, i controller scompariranno dopo un breve timeout nascondi timeout del controller.

I controller possono essere attivati e bloccati rispetto alla fotocamera nella finestra degli strumenti di simulazione di input o premendo il tasto Toggle Left/Right Controller ( impostazione predefinita: T per sinistra e Y per destra). Premere di nuovo il tasto attiva per nascondere di nuovo i controller. Per modificare i controller, è necessario tenere la chiave di manipolazione del controller a sinistra/destra . Il doppio tocco della chiave di manipolazione del controller a sinistra/destra può anche attivare/disattivare i controller.

Lo spostamento del mouse sposta il controller nel piano di visualizzazione. I controller possono essere spostati ulteriormente o più vicini alla fotocamera usando la rotellina del mouse.

Per ruotare i controller usando il mouse, tenere premuto il tasto di manipolazione del controller sinistro/destro (maiusc o spazio a sinistra) e il pulsante Ruota controller (impostazione predefinita: pulsante CTRL asinistra) e quindi spostare il mouse per ruotare il controller. La velocità di rotazione del controller può essere configurata modificando l'impostazione Velocità rotazione controller del mouse nel profilo di simulazione di input.

Tutto il posizionamento della mano può anche essere modificato nella finestra degli strumenti di simulazione di input, inclusa la reimpostazione delle mani per impostazione predefinita.

Impostazioni del profilo aggiuntive

  • Controller Depth Multiplier controlla la sensibilità del movimento di profondità della rotellina di scorrimento del mouse. Un numero maggiore accelera lo zoom del controller.
  • La distanza del controller predefinita è la distanza iniziale dei controller dalla fotocamera. Facendo clic sul controller del pulsante Reimposta verranno posizionati anche i controller a questa distanza.
  • Il controller Jitter Amount aggiunge il movimento casuale ai controller. Questa funzionalità può essere usata per simulare il rilevamento non accurato del controller nel dispositivo e assicurarsi che le interazioni funzionino bene con l'input rumoroso.

Movimenti della mano

I movimenti delle mani, ad esempio il pizzicamento, l'afferramento, il poking e così via, possono anche essere simulati.

  1. Abilitare il controllo mano usando il tasto di manipolazione del controller sinistro/destro (maiusc o spazioa sinistra)

  2. Durante la manipolazione, premere e tenere premuto un pulsante del mouse per eseguire un gesto di mano.

È possibile eseguire il mapping di ognuno dei pulsanti del mouse per trasformare la forma della mano in un movimento diverso usando le impostazioni Movimento mano mano sinistra /centrale/destra . Il movimento di mano predefinito è la forma della mano quando non viene premuto alcun pulsante.

Nota

Il movimento Pinch è l'unico gesto che esegue l'azione "Select" a questo punto.

Manipolazione a una mano

  1. Premere e tenere premuto tasto di manipolazione del controller sinistro/destro (maiuscole ospazi)
  2. Punto all'oggetto
  3. Tenere premuto il pulsante del mouse per il pizzicamento
  4. Usare il mouse per spostare l'oggetto
  5. Rilasciare il pulsante del mouse per arrestare l'interazione

Manipolazione a due mani

Per modificare gli oggetti con due mani contemporaneamente, è consigliabile usare la modalità mano persistente.

  1. Attivare l'interruttore su entrambe le mani premendo i tasti di attivazione (T/Y).
  2. Modificare una mano alla volta:
    1. Tenere spazio per controllare la mano destra
    2. Spostare la mano in cui si vuole afferrare l'oggetto
    3. Premere il pulsante sinistro del mouse per attivare il movimento Pinch .
    4. Rilascia spazio per interrompere il controllo della mano destra. La mano sarà bloccata sul posto e sarà bloccata nel gesto Di pizzica perché non viene più manipolata.
  3. Ripetere il processo con l'altra mano, afferrando lo stesso oggetto in un secondo punto.
  4. Ora che entrambe le mani afferrano lo stesso oggetto, è possibile spostarle per eseguire la manipolazione a due mani.

Interazione GGV (Sguardo, Movimento e Voce)

Per impostazione predefinita, l'interazione GGV è abilitata nell'editor mentre non sono presenti mani articolate nella scena.

  1. Ruotare la fotocamera per puntare il cursore dello sguardo all'oggetto interagiscibile (pulsante destro del mouse)
  2. Fare clic e tenere premuto il pulsante sinistro del mouse per interagire
  3. Ruotare di nuovo la fotocamera per modificare l'oggetto

È possibile disattivare attivando l'opzione Is Hand Free Input Enabled all'interno del profilo di simulazione di input.

È inoltre possibile usare mani simulate per l'interazione con GGV

  1. Abilitare la simulazione GGV passando alla modalità simulazione mano ai movimenti nel profilo di simulazione di input
  2. Ruotare la fotocamera per puntare il cursore dello sguardo all'oggetto interagiscibile (pulsante destro del mouse)
  3. Tenere spazio per controllare la mano destra
  4. Fare clic e tenere premuto il pulsante sinistro del mouse per interagire
  5. Usare il mouse per spostare l'oggetto
  6. Rilasciare il pulsante del mouse per arrestare l'interazione

Generazione di eventi di teleporto

Per generare l'evento di teleporto nella simulazione di input, configurare il movimento mano Impostazioni nel profilo di simulazione di input in modo che uno esegue il movimento di avvio del teleporto mentre l'altro esegue il movimento finale del teleporto. Il movimento Di avvio del teleporto visualizzerà il puntatore teleporto, mentre il teleport End gesure completerà l'azione di teleporto e sposta l'utente.

La posizione y del teleporto risultante dipende dallo spostamento della fotocamera lungo l'asse y. Nell'editor si tratta di 0 per impostazione predefinita, quindi usare le chiavi Q e E per modificarle all'altezza appropriata.

Input Simulation Teleport Settings

Interazione del controller di movimento

I controller di movimento simulati possono essere manipolati nello stesso modo in cui le mani articolate sono. Il modello di interazione è simile all'interazione molto lunga della mano articolata mentre il trigger, afferrare e i tasti di menu vengono mappati rispettivamente al pulsante del mouse sinistro, G e M .

Tracciamento oculare

La simulazione di rilevamento oculare può essere abilitata controllando l'opzione Simula posizione oculare nel profilo di simulazione input. Questa operazione non deve essere usata con interazioni di stile GGV o del controller di movimento (quindi assicurarsi che la modalità simulazione controller predefinita sia impostata su Mano articolata).

Finestra Strumenti di simulazione di input

Abilitare la finestra degli strumenti di simulazione di input dal menu Realtà mista>Toolkit>Utilities>Input Simulation. Questa finestra fornisce l'accesso allo stato della simulazione di input durante la modalità di riproduzione.

Pulsanti Viewport (facoltativo)

È possibile specificare un prefab per i pulsanti nell'editor per controllare il posizionamento della mano di base nel profilo di simulazione di input in Indicatori prefab. Questa è un'utilità facoltativa, le stesse funzionalità possono essere accessibili nella finestra degli strumenti di simulazione di input.

Nota

Gli indicatori del riquadro di visualizzazione sono disabilitati per impostazione predefinita, poiché attualmente possono interferire con le interazioni dell'interfaccia utente di Unity. Vedere il problema #6106. Per abilitare, aggiungere il prefab InputSimulationIndicators prefab a Indicatori Prefab.

Le icone della mano mostrano lo stato delle mani simulate:

  • Untracked hand icon La mano non è tracciata. Fare clic per abilitare la mano.
  • Tracked hand icon La mano viene tracciata, ma non controllata dall'utente. Fare clic per nascondere la mano.
  • Controlled hand icon La mano viene monitorata e controllata dall'utente. Fare clic per nascondere la mano.
  • Reset hand icon Fare clic per reimpostare la mano sulla posizione predefinita.

Vedi anche