Oogtracking op HoloLens 2

Functie HoloLens (eerste generatie) HoloLens 2 Immersive headsets
Oogcontact ✔️

Demo over ontwerpconcepten voor head-and-eye tracking

Als u ontwerpconcepten voor head- en oogtracking in actie wilt zien, bekijkt u de videodemo Ontwerpen Hologrammen - Hoofdtracking en oogtracking hieronder. Wanneer u klaar bent, gaat u verder voor een gedetailleerdere beschrijving van specifieke onderwerpen.

Deze video is afkomstig van de app 'Hologrammen ontwerpen' HoloLens 2 app. Download hier en profiteer van de volledige ervaring.

Kalibratie

Om het bijhouden van de ogen nauwkeurig te laten werken, moet elke gebruiker een kalibratie door het oog bijhouden van gebruikers waarvoor de gebruiker een set holografische doelen moet bekijken. Hierdoor kan het apparaat het systeem aanpassen voor een meer ervaring met het bekijken van een betere kwaliteit voor de gebruiker en tegelijkertijd nauwkeurige oogtracking garanderen.

Het bijhouden van de ogen zou voor de meeste gebruikers moeten werken, maar er zijn zeldzame gevallen waarin een gebruiker niet kan kalibreren. Kalibratie kan om verschillende redenen mislukken, waaronder, maar niet beperkt tot:

  • De gebruiker heeft zich eerder voor het kalibratieproces uit gekozen
  • De gebruiker werd afgeleid en volgt de kalibratiedoelen niet
  • De gebruiker heeft bepaalde typen contactlenzen en bril, die nog niet door het systeem worden ondersteund
  • De gebruiker heeft bepaalde ogen, oogomstandigheden of een oogoperatie, die nog niet door het systeem worden ondersteund
  • Externe factoren die betrouwbare oogtracking in de weg zitten, zoals smudges op de HoloLens-visor of bril, intensieve directe steniging en occlusies vanwege haar aan de ogen

Ontwikkelaars moeten ervoor zorgen dat er voldoende ondersteuning is voor gebruikers voor wie mogelijk geen traceringsgegevens beschikbaar zijn (die niet goed kunnen kalibreren). We hebben aanbevelingen gedaan voor terugvaloplossingen in de sectie onder aan deze pagina.

Als u meer wilt weten over de kalibratie en over hoe u een soepele ervaring kunt garanderen, raadpleegt u onze pagina voor het bijhouden van de kalibratie van gebruikers.


Beschikbare oogtrackinggegevens

Voordat we in detail ingaan op specifieke gebruiksgevallen voor oogcontactinvoer, willen we kort ingaan op de mogelijkheden die de HoloLens 2 Api voor oogtracking biedt. Ontwikkelaars krijgen toegang tot één oogfoto (staren oorsprong en richting) op ongeveer 30 FPS (30 Hz). Raadpleeg onze handleidingen voor ontwikkelaars voor het gebruik van oogcontacten in DirectX en oogcontact in Unity voor meer gedetailleerde informatie over het openen van gegevens over het volgen van ogen.

De voorspelde oogcontacten liggen ongeveer binnen 1,5 graden in de visuele hoek rond het werkelijke doel (zie de onderstaande afbeelding). Omdat er kleine onnauwkeurigheden worden verwacht, moeten ontwikkelaars een marge rond deze lagere waarde plannen (bijvoorbeeld 2,0-3,0 graden kan leiden tot een veel meer ervaring). Hieronder vindt u meer informatie over het aanpakken van de selectie van kleine doelen. Als u wilt dat het bijhouden van de ogen nauwkeurig werkt, moet elke gebruiker de kalibratie van gebruikers bijhouden.

Optimal target size at 2 meter distance
Optimale doelgrootte op een afstand van 2 meter


Gebruiksvoorbeelden

Met oogtracking kunnen toepassingen bijhouden waar de gebruiker in realtime naar op zoek is. In de volgende gebruiksgevallen worden enkele interacties beschreven die mogelijk zijn met oogtracking op HoloLens 2 in mixed reality. Deze gebruiksgevallen maken nog geen deel uit van de Holographic Shell-ervaring (dat wil zeggen, de interface die u ziet wanneer u uw HoloLens 2). U kunt een aantal van deze proberen in de Mixed Reality Toolkit, die verschillende interessante en krachtige voorbeelden biedt voor het gebruik van oogtracking, zoals snelle en moeiteloze door het oog ondersteunde doelselecties en automatisch door tekst schuiven op basis van wat de gebruiker bekijkt.

Gebruikersintentie

Informatie over waar en wat een gebruiker bekijkt, biedt een krachtige contextvoor andere invoer, zoals spraak, handen en controllers. Dit kan worden gebruikt voor verschillende taken. Dit kan bijvoorbeeld variëren van snel en moeiteloos gericht zijn op de scène door naar een hologram te kijken en 'select' te zeggen (ook staren en door te geven)of 'put this...',en vervolgens te kijken naar waar de gebruiker het hologram wil plaatsen en '... there". Voorbeelden hiervan vindt u in Mixed Reality Toolkit - Door het oog ondersteunde doelselectie en Mixed Reality Toolkit - Door het oog ondersteunde doelpositie.

Daarnaast kan een voorbeeld van een gebruikersintentie bestaan uit het gebruik van informatie over wat gebruikers bekijken om de betrokkenheid met opgenomen virtuele agents en interactieve hologrammen te verbeteren. Virtuele agents kunnen bijvoorbeeld beschikbare opties en hun gedrag aanpassen op basis van momenteel bekeken inhoud.

Impliciete acties

De categorie van impliciete acties is nauw gerelateerd aan de intentie van de gebruiker. Het idee is dat hologrammen of elementen van de gebruikersinterface op een opeen na laatste manier reageren die mogelijk niet eens het gevoel heeft dat de gebruiker met het systeem communiceert, maar dat het systeem en de gebruiker gesynchroniseerd zijn. Een voorbeeld is automatisch scrollen op basis van een oog, waarbij de gebruiker een lange tekst kan lezen, die automatisch begint te schuiven zodra de gebruiker naar de onderkant van het tekstvak gaat om de gebruiker in de leesstroom te houden, zonder een vinger te hijsen.
Een belangrijk aspect van dit is dat de schuifsnelheid zich aanpast aan de leessnelheid van de gebruiker. Een ander voorbeeld is door het oog ondersteund zoomen en pannen waarbij de gebruiker precies in de richting kan duiken waarop hij of zij zich richt. Het activeren en beheren van de zoomsnelheid kan worden bepaald door spraak- of handinvoer. Dit is belangrijk om de gebruiker het gevoel van controle te bieden en tegelijkertijd te voorkomen dat de gebruiker wordt overspoeld. Deze ontwerpoverwegingen worden hieronder gedetailleerder besproken. Zodra de gebruiker is ingezoomd, kan hij of zij bijvoorbeeld de cursus van een straat volgen om zijn of haar buurt te verkennen met behulp van zijn of haar ogen. Voorbeelden van demo's voor deze typen interacties vindt u in Mixed Reality Toolkit - Door het oog ondersteund navigatievoorbeeld.

Andere gebruiksgevallen voor impliciete acties kunnen zijn:

  • Slimme meldingen: Ooit al eens geteend door meldingen die op de juiste plek worden weer te geven? Rekening houdend met waar een gebruiker aandacht aan besteed, kunt u deze ervaring verbeteren door meldingen te offsettingen van waar de gebruiker momenteel aan het kijken is. Hierdoor worden afleidingen beperkt en worden ze automatisch beëindigd zodra de gebruiker klaar is met lezen.
  • 1000 hologrammen: Hologrammen die subtubs reageren wanneer er naar wordt ge staren. Dit kan variëren van licht oplichtende UI-elementen, een langzaam bloemende bloem tot een virtuele hond die begint terug te kijken naar de gebruiker en met de staart te waggelen. Deze interactie kan een interessant idee geven van connectiviteit en tevredenheid in uw toepassing.

Bijhouden van aandacht

Informatie over waar of naar wat gebruikers kijken, kan een zeer krachtig hulpprogramma zijn. Het kan helpen bij het beoordelen van de bruikbaarheid van ontwerpen en het identificeren van problemen in werkstromen om ze efficiënter te maken. Visualisatie en analyse van oogtracking zijn gebruikelijk in verschillende toepassingsgebieden. Met HoloLens 2 bieden we een nieuwe dimensie aan deze kennis, omdat 3D hologrammen in echte contexten kunnen worden geplaatst en dienovereenkomstig kunnen worden geëvalueerd. De Mixed Reality Toolkit basisvoorbeelden voor logboekregistratie en het laden van traceringsgegevens en hoe u deze visualiseert. Microsoft stelt alles in het werk om innovatie te vergemakkelijken en ervoor te zorgen dat gebruikers een geïnformeerde en transparante ervaring hebben met de manier waarop hun informatie over het bijhouden van de ogen wordt gebruikt. We werken samen met onze ontwikkelaars en UX-teams om hulp te bieden aan derden om ervoor te zorgen dat ervaringen gericht zijn op de gebruiker.

Andere toepassingen op dit gebied kunnen zijn:

  • Visualisatie van externe oogcontacten: Externe visualisaties van oogcontacten: Visualiseren wat externe samenwerkers bekijken, om direct feedback te kunnen geven en nauwkeurigere informatieverwerking mogelijk te maken.
  • Onderzoekstudies voor gebruikers: Het bijhouden van de aandacht kan onderzoekers helpen om meer inzicht te krijgen in hoe gebruikers de natuurlijke omgeving ervaren en gebruiken, zonder dat dit verstorend werkt, om meer mensen-computerinteracties te ontwerpen. Oogtracking kan informatie bieden die niet rechtstreeks wordt verwoord door deelnemers aan het onderzoek, wat anders gemakkelijk kan worden gemist door de onderzoeker.
  • Training en prestatiebewaking: Oefen en optimaliseer de uitvoering van taken door knelpunten effectiever in de uitvoeringsstroom te identificeren. Oogtracking kan natuurlijke, realtime en objectieve informatie bieden om de training, productiviteit en veiligheid op de werkplek te verbeteren.
  • Ontwerpevaluaties, marketing en consumentenonderzoek: Met oogtracking kunnen commerciële bedrijven marketing- en consumentenonderzoeken uitvoeren in echte omgevingen of analyseren wat de aandacht van een gebruiker legt om het product- of ruimteontwerp te verbeteren.

Andere gebruiksvoorbeelden

  • Gaming: Ooit superkracht willen hebben? Dit is uw kans! U kunt hologrammen maken door naar ze te staren. De laserbalken van uw ogen laten zien- probeer het uit in RoboRaid voor HoloLens 2. Zet ze om in steen of bevriest ze. Gebruik uw x-ray vision om gebouwen te verkennen. Uw eigen verbeelding is de limiet! Houd er echter niet van dat de gebruiker wordt overstelpen. Bekijk onze richtlijnen voor het ontwerpen van invoer op basis van een oog staren om meer te weten te komen.

  • Expressieve avatars: Dankzij oogtracking kunnen meer expressieve 3D-avatars worden gebruikt met behulp van live traceringsgegevens voor de ogen van de avatar die aangeven wat de gebruiker zoekt.

  • Tekstinvoer: Oogtracking kan worden gebruikt als alternatief voor tekstinvoer met weinig inspanning, met name wanneer spraak of handen onhandig zijn om te gebruiken.


Oogcontact gebruiken voor interactie

Het kan lastig zijn om een interactie te bouwen die gebruik maakt van snel bewegende oogcontacten. Aan de ene kant bewegen de ogen zo snel dat u voorzichtig moet zijn met het gebruik van oogcontactinvoer, omdat gebruikers anders de ervaring overweldigend of afleidend kunnen vinden. Aan de andere kant kunt u ook echt prachtige ervaringen creëren die uw gebruikers zullen berereed! Bekijk ons overzicht van de belangrijkste voordelen, uitdagingen en ontwerpaanbevelingen voor oogcontacten voor interactie.

Terugvaloplossingen wanneer oogtracking niet beschikbaar is

In zeldzame gevallen zijn er mogelijk geen traceringsgegevens beschikbaar. Dit kan verschillende redenen hebben waaruit de meest voorkomende hieronder worden vermeld:

  • Het systeem kan de gebruiker niet kalibreren.
  • De gebruiker heeft de kalibratie overgeslagen.
  • De gebruiker is ge kalibreerd, maar heeft besloten om uw app geen toestemming te geven om de gegevens van de oogtracking te gebruiken.
  • De gebruiker heeft een unieke bril of een bepaalde oogvoorwaarde die nog niet door het systeem wordt ondersteund.
  • Externe factoren die betrouwbare oogtracking in de weg zitten, zoals smudges op de HoloLens-visor of bril, intensieve directe steniging en occlusies vanwege haar voor de ogen.

Ontwikkelaars moeten ervoor zorgen dat er geschikte terugvalondersteuning is voor deze gebruikers. Op de pagina Oogtracking in DirectX leggen we uit welke API's vereist zijn om te detecteren of er traceringsgegevens beschikbaar zijn.

Hoewel sommige gebruikers mogelijk bewust hebben besloten om de toegang tot hun traceringsgegevens in te trekken en akkoord gaan met het inruilen van een verterende gebruikerservaring voor de privacy van het niet verlenen van toegang tot hun oogtrackinggegevens, kan dit in sommige gevallen onbedoeld zijn. Als uw app gebruikmaakt van oogtracking en dit is een belangrijk onderdeel van de ervaring, raden we u aan dit duidelijk te communiceren met de gebruiker.

Als u de gebruiker informeert waarom het bijhouden van de ogen essentieel is voor uw toepassing (misschien zelfs om een aantal verbeterde functies weer te geven) om te zien wat het volledige potentieel van uw toepassing is, kan dit de gebruiker helpen om beter te begrijpen wat ze opgeven. Help de gebruiker vast te stellen waarom het bijhouden van de ogen mogelijk niet werkt (op basis van de bovenstaande controles) en bied enkele suggesties om potentiële problemen snel op te lossen.

Als u bijvoorbeeld kunt detecteren dat het systeem ondersteuning biedt voor het bijhouden van de ogen, wordt de gebruiker ge kalibreerd en heeft hij of zij zelfs zijn toestemming gegeven, maar worden er geen oogtrackinggegevens ontvangen, dan kan dit wijzen op een aantal andere problemen, zoals smudges of de occludatie van de ogen.

Er zijn zeldzame gevallen van gebruikers voor wie het bijhouden van de ogen mogelijk niet werkt. Daarom moet u ervoor zorgen dat u herinneringen voor het inschakelen van het bijhouden van ogen in uw app kunt verwijderen of zelfs kunt uitschakelen.

Terugvallen op apps met oogcontact als primaire invoerpunt

Als uw app ooginvoer gebruikt om snel hologrammen in de scène te selecteren, maar er geen gegevens voor het bijhouden van de ogen beschikbaar zijn, raden we u aan om terug te vallen op hoofd staren en de hoofd starende cursor weer te geven. We raden u aan een time-out te gebruiken (bijvoorbeeld 500-1500 ms) om te bepalen of u wilt overschakelen of niet. Met deze actie wordt voorkomen dat cursors telkens worden weergegeven als het systeem de tracering even kan verliezen vanwege snelle ogen of ogen en knipperen. Als u een Unity-ontwikkelaar bent, wordt de automatische terugval naar head-staring al afgehandeld in de Mixed Reality Toolkit. Als u een DirectX-ontwikkelaar bent, moet u deze switch zelf afhandelen.

Terugvallen op andere toepassingen die specifiek zijn voor het volgen van een oog

Uw app kan oogcontacten gebruiken op een unieke manier die specifiek is afgestemd op de ogen. Bijvoorbeeld het animimeren van de ogen van een avatar of voor heatmaps op basis van oogcontacten die afhankelijk zijn van nauwkeurige informatie over visuele aandacht. In dit geval is er geen duidelijke terugval. Als oogtracking niet beschikbaar is, moeten deze mogelijkheden mogelijk worden uitgeschakeld. Nogmaals, we raden u aan dit duidelijk te communiceren met de gebruiker die zich mogelijk niet bewust is van het feit dat de mogelijkheid niet werkt.


Deze pagina biedt u hopelijk een goed overzicht om u op weg te helpen met het begrijpen van de rol van oogtracking en ooginvoer voor HoloLens 2. Bekijk onze informatie over de rol van oogcontacten voor interactie met hologrammen,oogcontact in Unity en oogcontact in DirectXom aan de slag te gaan met ontwikkelen.

Zie ook

Eye tracking demo in MRTK

HoloLens 2 biedt een nieuw niveau van context en menselijk begrip binnen de holografische ervaring door ontwikkelaars de mogelijkheid te bieden om informatie te gebruiken over wat de gebruiker zoekt. Op deze pagina wordt uitgelegd hoe ontwikkelaars kunnen profiteren van het bijhouden van de gaten voor verschillende gebruiksgevallen en waar ze naar moeten zoeken bij het ontwerpen van interacties van gebruikers op basis van een oogcontact.

De API voor het bijhouden van ogen is ontworpen met het oog op de privacy van een gebruiker, om te voorkomen dat er identificeerbare informatie wordt verstrekt, met name biometrie. Voor toepassingen die geschikt zijn voor oogtracking, moet de gebruiker de app toestemming geven om informatie over het bijhouden van ogen te gebruiken.

Ondersteuning voor apparaten