Overzicht van voorbeelden van oogtracking

In dit onderwerp wordt beschreven hoe u snel aan de slag kunt met het bijhouden van uw oog in MRTK door gebruik te maken van MRTK-voorbeelden (Assets/MRTK/Examples/Demos/EyeTracking). Met deze voorbeelden kunt u een van onze nieuwe geavanceerde invoermogelijkheden ervaren: Oogvolgend! De demo bevat verschillende gebruiksgevallen, variërend van impliciete activeringen op basis van een oog tot het naadloos combineren van informatie over wat u ziet met spraak en handinvoer. Hierdoor kunnen gebruikers snel en moeiteloos holografische inhoud in hun weergave selecteren en verplaatsen door naar een doel te kijken en 'Selecteren' te zeggen of een handgebaar uit te voeren. De demo's bevatten ook een voorbeeld van staren met het oog, het pannen en zoomen van tekst en afbeeldingen op een slate. Ten slotte wordt er een voorbeeld gegeven voor het vastleggen en visualiseren van de visuele aandacht van de gebruiker op een 2D-slate. In de volgende sectie vindt u meer informatie over wat elk van de verschillende voorbeelden in het mrtk-voorbeeldpakket voor oogtracking (Assets/MRTK/Examples/Demos/EyeTracking) bevat:

Lijst met scènes voor het bijhouden van de ogen

In de volgende sectie wordt een kort overzicht gegeven van de demoscènes voor het volgen van afzonderlijke ogen. De MRTK-demoscènes voor het bijhouden van de ogen worden additief geladen.Hieronder wordt uitgelegd hoe u dit in kunt stellen.

Overzicht van de voorbeelden van de demo's voor het volgen van een oog

Door het oog ondersteunde doelselectie

In deze zelfstudie wordt het gemak getoond van het openen van oogcontactgegevens om doelen te selecteren. Het bevat een voorbeeld van subtiele maar krachtige feedback om de gebruiker het vertrouwen te geven dat een doel gericht is zonder te worden overstelpend. Daarnaast is er een eenvoudig voorbeeld van slimme meldingen die automatisch verdwijnen nadat ze zijn gelezen.

Samenvatting: Snelle en moeiteloze doelselecties met behulp van een combinatie van ogen, spraak en handinvoer.

Door het oog ondersteunde navigatie

Imagine dat u informatie leest op een verafgelegen weergave of uw e-reader en wanneer u het einde van de weergegeven tekst bereikt, schuift de tekst automatisch omhoog om meer inhoud weer te geven. Of hoe zit het met direct inzoomen op de plek waar u naar kijkt? Dit zijn enkele voorbeelden die in deze zelfstudie worden getoond met betrekking tot door het oog ondersteunde navigatie. Daarnaast is er een voorbeeld voor handsfree rotatie van 3D hologrammen door ze automatisch te laten draaien op basis van uw huidige focus.

Samenvatting: Scrollen, pannen, zoomen, 3D draaien met behulp van een combinatie van ogen, spraak en handinvoer.

Door het oog ondersteunde positiebepaling

In deze zelfstudie ziet u een invoerscenario met de naam Put-That-There dateert uit onderzoek van het MIT Media Lab in het begin van de jaren '80 met oog-, hand- en spraakinvoer. Het idee is eenvoudig: Profiteer van uw ogen voor snelle selectie en plaatsing van het doel. Kijk gewoon naar een hologram en zeg 'put this', kijk waar u het wilt plaatsen en zeg 'there!'. Voor een preciezere positie van uw hologram kunt u aanvullende invoer van uw handen, spraak of controllers gebruiken.

Samenvatting: hologrammen positioneren met behulp van ogen, spraak en handinvoer (slepen en neerzetten). Door het oog ondersteunde schuifregelaars met behulp van ogen en handen.

Visualisatie van visuele aandacht

Gegevens op basis van waar gebruikers naar kijken, zijn een zeer krachtig hulpmiddel om de bruikbaarheid van een ontwerp te beoordelen en problemen in efficiënte werkstromen te identificeren. In deze zelfstudie worden verschillende visualisaties voor het bijhouden van de ogen besproken en wordt besproken hoe deze geschikt zijn voor verschillende behoeften. We bieden basisvoorbeelden voor logboekregistratie en het laden van traceringsgegevens en voorbeelden voor het visualiseren ervan.

Samenvatting: Tweedimensionale aandachtskaart (heatmaps) op slates. Opname van & van traceringsgegevens van de oog.

De MRTK-voorbeelden voor oogtracking instellen

Vereisten

Houd er rekening mee dat u voor het gebruik van de oogtrackingvoorbeelden op het apparaat een HoloLens 2 en een voorbeeld-app-pakket nodig hebt dat is gebouwd met de mogelijkheid 'Staren in invoer' op AppXManifest van het pakket.

Als u deze oogtrackingvoorbeelden op het apparaat wilt gebruiken, moet u deze stappen volgen voordat u de app bouwt in Visual Studio.

1. Laad EyeTrackingDemo-00-RootCertificaat.unity

De EyeTrackingDemo-00-RootLiggende is de basisscène(root) met alle belangrijkste MRTK-onderdelen. Dit is de scène die u eerst moet laden en van waaruit u de demo's voor het bijhouden van de ogen gaat uitvoeren. Het bevat een grafisch scènemenu waarmee u eenvoudig kunt schakelen tussen de verschillende voorbeelden voor het bijhouden van de ogen die additief worden geladen.

Scènemenu in voorbeeld van een oogtracking

De hoofdscène bevat enkele kernonderdelen die blijven bestaan in de additieve geladen scènes, zoals de door DE MRTK geconfigureerde profielen en scènecamera. De MixedRealityBasicEerdeSetup (zie onderstaande schermopname) bevat een script dat automatisch de scène waarnaar wordt verwezen bij het opstarten laadt. Dit is standaard EyeTrackingDemo-02-TargetSelection.

Voorbeeld voor het script OnLoadStart Script

2. Scènes toevoegen aan het buildmenu

Als u additieve scènes wilt laden tijdens runtime, moet u deze scènes eerst toevoegen aan uw Build Instellingen -> Scenes in het menu Build. Het is belangrijk dat de hoofdscène wordt weergegeven als de eerste scène in de lijst:

Bouw Instellingen scènemenu voor voorbeelden van oogtracking

3. De voorbeelden voor het bijhouden van de ogen afspelen in de Unity-editor

Nadat u de scènes voor het bijhouden van de ogen hebt toegevoegd aan de Build Instellingen en de EyeTrackingDemo-00-RootLiggende hebt geladen, is er nog een laatste ding dat u kunt controleren: Is het script OnLoadStartIngen dat is gekoppeld aan het MixedRealityBasicCheckSetup GameObject ingeschakeld? Dit is om de hoofdscène te laten weten welke demoscène het eerst moet worden geladen.

Voorbeeld voor het OnLoad_StartScene script

Laten we eens gaan draaien. Druk op Afspelen! Er worden verschillende gems weergegeven en het scènemenu bovenaan.

Voorbeeldschermafbeelding van de scène VOOR ET-doel selecteren

U ziet ook een kleine semitransparente cirkel in het midden van uw gameweergave. Dit fungeert als een indicator (cursor) van uw gesimuleerde oogbewegingen: druk op de rechtermuisknop en verplaats de muis om de positie te wijzigen. Wanneer de cursor over de gems beweegt, ziet u dat deze wordt uitlijnd naar het midden van de momenteel bekeken gem. Dit is een uitstekende manier om te testen of gebeurtenissen worden geactiveerd zoals verwacht wanneer er naar een doel wordt gekeken. Let erop dat de gesimuleerde oogbewegingen via muisbesturing een nogal slechte aanvulling zijn op onze snelle en onbedoelde oogbewegingen. Het is echter geweldig om de basisfunctionaliteit te testen voordat u het ontwerp itereert door het te implementeren op HoloLens 2 apparaat. Terug naar onze voorbeeldscène voor het volgen van onze ogen: De gem draait zolang wordt bekeken en kan worden vernietigd door ernaar te kijken en ...

  • Op Enter drukken (dit simuleert het zeggen 'selecteren')
  • 'Selecteren' in uw microfoon zeggen
  • Terwijl u op Spatie drukt om de gesimuleerde handinvoer weer te geven, klikt u op de linkermuisknop om een gesimuleerde knijping uit te voeren

In onze zelfstudie Oog-ondersteunde doelselectie wordt gedetailleerder beschreven hoe u deze interacties kunt bereiken.

Wanneer u de cursor omhoog verplaatst naar de bovenste menubalk in de scène, ziet u dat het item dat momenteel wordt aanwijzert subtloos wordt gelicht. U kunt het momenteel gemarkeerde item selecteren met behulp van een van de hierboven beschreven commit-methoden (bijvoorbeeld door op Enter te drukken). Op deze manier kunt u schakelen tussen de verschillende voorbeeldscènes voor het volgen van een oog.

4. Specifieke subscènes testen

Wanneer u aan een specifiek scenario werkt, wilt u mogelijk niet steeds door het scènemenu gaan. In plaats daarvan kunt u direct beginnen vanuit de scène waarmee u momenteel werkt wanneer u op de knop Afspelen drukt. Geen probleem! Dit is wat u kunt doen:

  1. De hoofdscène laden

  2. Schakel in de hoofdscène het script 'OnLoadStartCertificaat' uit

  3. Sleep en zet een van de testscènes voor het bijhouden van de ogen die hieronder worden beschreven (of een andere scène) naar uw Hiërarchie-weergave, zoals wordt weergegeven in de onderstaande schermopname.

    Voorbeeld voor additieve scène

  4. Op Afspelen drukken

Houd er rekening mee dat het laden van de subscène als deze niet permanent is: Dit betekent dat als u uw app implementeert op het HoloLens 2-apparaat, de hoofdscène alleen wordt geladen (ervan uitgaande dat deze bovenaan uw Build-Instellingen wordt weergegeven). Wanneer u uw project met anderen deelt, worden de subscènes ook niet automatisch geladen.


Nu u weet hoe u de MRTK-voorbeeldscènes kunt laten werken, gaan we dieper in op het selecteren van hologrammen met uw ogen: Door het oog ondersteunde doelselectie.


Terug naar 'Oogvervolging in de MixedRealityToolkit'