Esempi di tracciamento oculare

Questo argomento descrive come iniziare rapidamente a usare il tracciamento oculare in MRTK compilando esempi di tracciamento oculare MRTK (Assets/MRTK/Examples/Demos/EyeTracking). Questi esempi consentono di sperimentare una delle nuove funzionalità di input magiche: Tracciamento oculare! La demo include diversi casi d'uso, dalle attivazioni implicite basate sugli occhi a come combinare facilmente le informazioni su ciò che si sta esaminando con l'input vocale e manuale. In questo modo gli utenti possono selezionare e spostare in modo semplice e rapido il contenuto olografico nella visualizzazione semplicemente osservando una destinazione e pronunciando "Seleziona" o eseguendo un movimento della mano. Le demo includono anche un esempio di scorrimento con sguardo rivolto verso gli occhi, panoramica e zoom di testo e immagini su uno slate. Infine, viene fornito un esempio per la registrazione e la visualizzazione dell'attenzione visiva dell'utente su uno slate 2D. Nella sezione seguente sono disponibili altri dettagli sui diversi esempi inclusi nel pacchetto di esempio di tracciamento oculare MRTK (Assets/MRTK/Examples/Demos/EyeTracking):

Elenco di scene di tracciamento oculare

La sezione seguente è una rapida panoramica delle singole scene della demo di tracciamento oculare. Le scene demo di tracciamento oculare MRTK vengono caricate in modo aggiuntivo,che verranno illustrate di seguito come configurare.

Panoramica degli esempi di demo di tracciamento oculare

Selezione della destinazione supportata dagli occhi

Questa esercitazione illustra la facilità di accesso ai dati dello sguardo fisso per selezionare le destinazioni. Include un esempio di feedback sottile ma potente per fornire all'utente la certezza che un obiettivo è incentrato senza essere eccessivo. Esiste anche un semplice esempio di notifiche intelligenti che scompaiono automaticamente dopo la lettura.

Riepilogo: selezioni di destinazione veloci e senza sforzo usando una combinazione di occhi, voce e input manuale.

Navigazione supportata dagli occhi

Si supponga di leggere alcune informazioni su uno schermo distante o sull'e-reader e, quando si raggiunge la fine del testo visualizzato, il testo scorre automaticamente verso l'alto per visualizzare più contenuto. O che ne dite di eseguire uno zoom diretto verso la posizione in cui si stava guardando? Di seguito sono riportati alcuni esempi presentati in questa esercitazione relativi alla navigazione con supporto oculare. Esiste anche un esempio di rotazione a mani libere degli ologrammi 3D facendo in modo che ruotino automaticamente in base allo stato attivo corrente.

Riepilogo: scorrimento, panoramica, zoom, rotazione 3D con una combinazione di occhi, voce e input della mano.

Posizionamento supportato dagli occhi

Questa esercitazione illustra uno scenario di input denominato Put-That-There che torna alla ricerca del MIT Media Lab all'inizio degli anni '80 con input oculare, mano e voce. L'idea è semplice: trarre vantaggio dagli occhi per la selezione e il posizionamento rapidi della destinazione. È sufficiente esaminare un ologramma e pronunciare "put this", osservare dove si vuole posizionarlo e pronunciare "there!". Per un posizionamento più preciso dell'ologramma, è possibile usare un input aggiuntivo dalle mani, dalla voce o dai controller.

Riepilogo: posizionamento degli ologrammi con occhi, voce e input della mano (trascinamento della selezione). Dispositivi di scorrimento supportati dagli occhi con occhi e mani.

Visualizzazione dell'attenzione visiva

I dati basati sul punto di vista degli utenti sono uno strumento estremamente potente per valutare l'usabilità di una progettazione e identificare i problemi in flussi di lavoro efficienti. Questa esercitazione illustra diverse visualizzazioni del tracciamento oculare e il modo in cui si adattano alle diverse esigenze. Vengono forniti esempi di base per la registrazione e il caricamento di dati di tracciamento oculare ed esempi su come visualizzarli.

Riepilogo: mappa di attenzione bidimensionale (mappe termica) sugli slate. Registrazione & riproduzione dei dati di tracciamento oculare.

Configurazione dei campioni di tracciamento oculare di MRTK

Prerequisiti

Si noti che l'uso degli esempi di tracciamento oculare nel dispositivo richiede un HoloLens 2 e un pacchetto di app di esempio compilato con la funzionalità "Input sguardo fisso" nell'app AppXManifest del pacchetto.

Per usare questi esempi di tracciamento oculare nel dispositivo, assicurarsi di seguire questa procedura prima di compilare l'app in Visual Studio.

1. Load EyeTrackingDemo-00-RootScene.unity

EyeTrackingDemo-00-RootScene è lascena di base (radice) che include tutti i componenti principali di MRTK. Questa è la scena che è necessario caricare per prima e da cui si eseguiranno le demo di tracciamento oculare. È dotato di un menu della scena grafica che consente di passare facilmente tra i diversi campioni di tracciamento oculare che verranno caricati in modo aggiuntivo.

Menu della scena nell'esempio di tracciamento oculare

La scena radice include alcuni componenti principali che verranno mantenuti nelle scene caricate in modo aggiuntivo, ad esempio i profili configurati per MRTK e la fotocamera della scena. MixedRealityBasicSceneSetup (vedere lo screenshot seguente) include uno script che carica automaticamente la scena di riferimento all'avvio. Per impostazione predefinita, si tratta di EyeTrackingDemo-02-TargetSelection.

Esempio per lo script OnLoadStartScene

2. Aggiunta di scene al menu di compilazione

Per caricare scene additive durante il runtime, è necessario aggiungere prima queste scene alle impostazioni di compilazione -> scene nel menu Compila. È importante che la scena radice sia visualizzata come prima scena nell'elenco:

Menu della scena Build Settings (Impostazioni di compilazione) per gli esempi di tracciamento oculare

3. Riprodurre gli esempi di tracciamento oculare nell'editor di Unity

Dopo aver aggiunto le scene di tracciamento oculare alle impostazioni di compilazione e aver caricato EyeTrackingDemo-00-RootScene, è possibile verificare che sia abilitato lo script 'OnLoadStartScene' collegato a MixedRealityBasicSceneSetup GameObject? Questo consente alla scena radice di sapere quale scena demo caricare per prima.

Esempio per lo script OnLoad_StartScene

È possibile eseguire il roll-to-roll. Premere "Play"! Verranno visualizzate diverse gemme e il menu della scena nella parte superiore.

Screenshot di esempio dalla scena di selezione della destinazione ET

Si noterà anche un piccolo cerchio semitrasparente al centro della visualizzazione del gioco. Funge da indicatore (cursore) dello sguardo fisso simulato: è sufficiente premere il pulsante destro del mouse e spostare il mouse per modificarne la posizione. Quando il cursore si posiziona sulle gemme, si noterà che verrà allineato al centro della gemma attualmente visualizzata. Questo è un ottimo modo per verificare se gli eventi vengono attivati come previsto quando si "esamina" una destinazione. Tenere presente che lo sguardo fisso simulato tramite il controllo del mouse è un integratore piuttosto scarso dei movimenti oculari rapidi e non intenzionali. Tuttavia, è ideale per testare le funzionalità di base prima di eseguire l'iterazione della progettazione distribuerla nel HoloLens 2 dispositivo. Tornare alla scena di esempio del tracciamento oculare: la gemma ruota fino a quando viene guardata e può essere distrutta "guardando" e ...

  • Premere INVIO (che simula il pronunciare "select")
  • Pronunciare "select" nel microfono
  • Mentre si preme BARRA SPAZIATRICE per visualizzare l'input della mano simulato, fare clic sul pulsante sinistro del mouse per eseguire un avvicinamento delle dita simulato

Nell'esercitazione Selezione destinazione supportata dagli occhi viene descritto in modo più dettagliato come ottenere queste interazioni.

Quando si sposta il cursore verso l'alto fino alla barra dei menu superiore nella scena, si noterà che l'elemento attualmente al passaggio del mouse verrà evidenziato in modo secondario. È possibile selezionare l'elemento attualmente evidenziato usando uno dei metodi di commit descritti in precedenza, ad esempio premendo INVIO. In questo modo è possibile passare da una scena di esempio di tracciamento oculare all'altra.

4. Come testare sotto-scene specifiche

Quando si lavora a uno scenario specifico, è possibile che non si voglia scorrere ogni volta il menu della scena. Al contrario, è possibile iniziare direttamente dalla scena su cui si sta lavorando quando si preme il pulsante Riproduci. non è un problema. Ecco cosa è possibile fare:

  1. Caricare la scena radice

  2. Nella scena radice disabilitare lo script 'OnLoadStartScene'

  3. Trascinare e rilasciare una delle scene di test di tracciamento oculare descritte di seguito (o qualsiasi altra scena) nella visualizzazione Gerarchia, come illustrato nello screenshot seguente.

    Esempio di scena additiva

  4. Premere Riproduci

Si noti che il caricamento della scena secondaria come questo non è persistente: ciò significa che se si distribuisce l'app nel dispositivo HoloLens 2, verrà caricata solo la scena radice (presupponendo che venga visualizzata nella parte superiore delle impostazioni di compilazione). Inoltre, quando si condivide il progetto con altri utenti, le scene secondarie non vengono caricate automaticamente.


Ora che si è in grado di usare le scene di esempio di tracciamento oculare di MRTK, è possibile continuare con un approfondimento su come selezionare gli ologrammi con gli occhi: selezione della destinazione supportata dagli occhi.


Torna a "Tracciamento oculare in MixedRealityToolkit"