Śledzenie wzroku na HoloLens 2

Funkcja HoloLens (1. generacja) HoloLens 2 Immersywne zestawy nagłow
Spojrzenie na oko ✔️

Pokaz koncepcji projektowych dotyczących śledzenia głowy i okiem

Jeśli chcesz zobaczyć koncepcje projektowe dotyczące głowy i śledzenia oczu w akcji, zapoznaj się z poniższym pokazem wideo Designing Hologramy - Head Tracking and Eye Tracking (Projektowanie aplikacji do śledzenia głowy i śledzenia oczu). Po zakończeniu przejdź dalej, aby uzyskać bardziej szczegółowe informacje na określone tematy.

Ten film wideo pochodzi z aplikacji "Designing Hologramy" HoloLens 2. Pobierz i korzystaj z pełnego doświadczenia tutaj.

Kalibracja

Aby śledzenie oczu działało dokładnie, każdy użytkownik musi przejść przez śledzenia wzroku użytkownika, dla którego musi przyjrzeć się zestawowi obiektów holograficznych. Dzięki temu urządzenie może dostosować system w celu zapewnienia użytkownikowi wygodnego i wyższej jakości wyświetlania oraz zapewnienia dokładnego śledzenia wzroku w tym samym czasie.

Śledzenie wzroku powinno działać w przypadku większości użytkowników, ale istnieją rzadkie przypadki, w których użytkownik nie może pomyślnie skalibrować. Może się to nie powieść z różnych powodów, w tym między innymi:

  • Użytkownik wcześniej zrezygnował z procesu procesowego
  • Użytkownik został rozpraszany i nie przestrzegał celów celów celów
  • Użytkownik ma pewne typy obiektywów i okularów kontaktowych, których system jeszcze nie obsługuje
  • Użytkownik ma pewne fizjologii, warunki okiem lub operację oka, która nie jest jeszcze wspierana przez system
  • Czynniki zewnętrzne, które wpływają na niezawodne śledzenie wzroku, takie jak smekły na HoloLens lub okularach, intensywne bezpośrednie światło i okluzacje z powodu zarostu przed wzrokiem

Deweloperzy powinni zapewnić odpowiednią obsługę dla użytkowników, dla których dane śledzenia wzroku mogą być niedostępne (którzy nie mogą pomyślnie skalibrować). Zalecenia dotyczące rozwiązań rezerwowych zostały podane w sekcji w dolnej części tej strony.

Aby dowiedzieć się więcej na temat ustawienia i sposobu zapewnienia bezproblemowego użytkowania, zapoznaj się ze stroną z informacjami o użytkownikach śledzących wzrok.


Dostępne dane śledzenia wzroku

Zanim szczegółowo omówimy konkretne przypadki użycia danych wejściowych dla oka, chcemy krótko wskazać możliwości zapewniane przez interfejs API HoloLens 2 Eye Tracking. Deweloperzy mają dostęp do pojedynczego promienia oczu (pochodzenia i kierunku spojrzenia) przy częstotliwości około 30HZ (30 Hz). Aby uzyskać bardziej szczegółowe informacje na temat uzyskiwania dostępu do danych śledzenia wzroku, zapoznaj się z naszymi przewodnikami dla deweloperów dotyczącymi korzystania z spojrzenia wzrokowego w directx i spojrzenia wzrokowego w a unity.

Przewidywane spojrzenie na oko wynosi około 1,5 stopnia w kątu wizualnym wokół rzeczywistego celu (zobacz ilustrację poniżej). Ponieważ oczekiwane są niewielkie niedokładne wartości, deweloperzy powinni zaplanować pewien margines wokół tej dolnej wartości powiązanej (na przykład 2,0–3,0 stopnia może spowodować znacznie wygodniejsze środowisko). Poniżej bardziej szczegółowo omówimy sposób wyboru małych celów. Aby śledzenie oczu działało dokładnie, każdy użytkownik musi przejść przez proces śledzenia wzroku.

Optimal target size at 2 meter distance
Optymalny rozmiar docelowy na 2-miernikowej odległości


Przypadki zastosowań

Śledzenie wzroku umożliwia aplikacjom śledzenie miejsca, w którym użytkownik szuka danych w czasie rzeczywistym. W poniższych przypadkach użycia opisano niektóre interakcje możliwe ze śledzeniem wzroku HoloLens 2 w rzeczywistości mieszanej. Te przypadki użycia nie są jeszcze częścią interfejsu powłoki Holographic Shell (interfejsu, który jest wyświetlony po uruchomieniu komputera HoloLens 2). Niektóre z nich można wypróbować w zestawie narzędzi Mixed Reality Toolkit,który udostępnia kilka interesujących i zaawansowanych przykładów użycia funkcji śledzenia wzroku, takich jak szybkie i łatwe w użyciu wybory celu i automatyczne przewijanie tekstu w oparciu o to, co użytkownik przegląda.

Intencja użytkownika

Informacje o tym, gdzie i na co patrzy użytkownik, zapewniają zaawansowany kontekstdla innych danych wejściowych, takich jak głos, ręce i kontrolery. Może to służyć do różnych zadań. Może to być na przykład od szybkiego i łatwego kierowania do całej sceny przez spojrzenie na hologram i powiedzenie "select" (zobacz również spojrzenie i zatwierdzenie )lub "umieść to...", a następnie zaglądanie do miejsca, w którym użytkownik chce umieścić hologram, i powiedz "... there". Przykłady takiej sytuacji można znaleźć w tematach Mixed Reality Toolkit - Eye-supported Target Selection (Zestaw narzędzi dla oka) i Mixed Reality Toolkit — Eye-supported Target Positioning (Zestaw narzędzi dla oka — obsługiwane przez wzrok pozycjonowanie elementów docelowych).

Ponadto przykładem intencji użytkownika może być użycie informacji o tym, na co patrzą użytkownicy, aby zwiększyć zaangażowanie dzięki uosabodowym agentom wirtualnym i interaktywnym hologramów. Na przykład agenci wirtualni mogą dostosowywać dostępne opcje i ich zachowanie na podstawie aktualnie przeglądanych zawartości.

Akcje niejawne

Kategoria niejawnych akcji ściśle odnosi się do intencji użytkownika. Chodzi o to, że hologramy lub elementy interfejsu użytkownika reagują w sposób zamierny, który może nawet nie wydawać się, że użytkownik w ogóle wchodzi w interakcję z systemem, ale raczej, że system i użytkownik są zsynchronizowani. Jednym z przykładów jest automatyczne przewijanie oparte na spojrzeniach, w którym użytkownik może odczytać długi tekst, który automatycznie rozpoczyna przewijanie, gdy użytkownik dowie się do dołu pola tekstowego, aby zachować użytkownika w przepływie czytania bez przesuwania palcem.
Kluczowym aspektem jest to, że szybkość przewijania dostosowuje się do szybkości odczytu użytkownika. Innym przykładem jest powiększanie i przesuwanie z okiem, gdzie użytkownik może mieć wrażenie, że chce dokładnie zbliżyć się do tego, na czym skupia się. Wyzwalanie i kontrolowanie szybkości powiększenia można kontrolować za pomocą głosu lub ręki, co jest ważne w przypadku zapewnienia użytkownikowi czucia kontroli przy jednoczesnym uniknięciu przeciążania. Te zagadnienia dotyczące projektowania opisano bardziej szczegółowo poniżej. Po powiększeniu użytkownik może sprawnie podążać, na przykład kursem ulicy, aby eksplorować jego okolicy przy użyciu spojrzenia wzrokowego. Przykłady pokazów dla tego typu interakcji można znaleźć w Mixed Reality Toolkit — przykład nawigacji z oku.

Inne przypadki użycia akcji niejawnych mogą obejmować:

  • Powiadomienia inteligentne: Czy kiedykolwiek irytują Cię powiadomienia wyświetlane w odpowiednim miejscu? Biorąc pod uwagę to, na co zwraca uwagę użytkownik, możesz poprawić to środowisko przez przesunięcie powiadomień z miejsca, w którym użytkownik aktualnie patrzy. Ogranicza to rozpraszanie uwagi i automatycznie odrzuca je po zakończeniu czytania przez użytkownika.
  • Hologramy z Hologramy, które subtly reagują na spojrzenie. Może to być zakres od nieco cygających się elementów interfejsu użytkownika, powoli zakwitłego kwiatu do wirtualnego psa, który zaczyna patrzyć z powrotem na użytkownika i machając jego ogon. Ta interakcja może zapewnić interesujące poczucie łączności i zadowolenia w aplikacji.

Śledzenie uwagi

Informacje o tym, gdzie i na co patrzą użytkownicy, mogą być niezwykle wydajnym narzędziem. Może pomóc ocenić użyteczność projektów i zidentyfikować problemy w przepływach pracy w celu ich większej wydajności. Wizualizacja i analiza śledzenia wzroku są powszechną praktyką w różnych obszarach aplikacji. W HoloLens 2 zapewniamy nowy wymiar, ponieważ hologramy 3D można umieszczać w rzeczywistych kontekstach i odpowiednio oceniać. Zestaw Mixed Reality Toolkit zawiera podstawowe przykłady rejestrowania i ładowania danych śledzenia oczu oraz sposobu ich wizualizacji. Firma Microsoft jest dedykowana do ułatwiania innowacji, jednocześnie zapewniając użytkownikom świadome i przejrzyste środowisko korzystania z informacji o śledzeniu wzroku. Będziemy współpracować z naszymi deweloperami i zespołami środowiska użytkownika, aby zapewnić wskazówki dla innych firm, aby upewnić się, że środowiska użytkownika są wyśrodkowane.

Inne aplikacje w tym obszarze mogą obejmować:

  • Wizualizacja z spojrzeniem zdalnym: Wizualizacje ze zdalnym spojrzeniem: wizualizuje, na co patrzą zdalni współpracownicy, aby móc przekazać natychmiastową opinię i ułatwić dokładniejsze przetwarzanie informacji.
  • Badania nad użytkownikami: Śledzenie uwagi może pomóc badaczom uzyskać więcej szczegółowych informacji na temat sposobu, w jaki użytkownicy postrzegają środowisko naturalne i angażują się w nie, bez zakłócania, aby zaprojektować bardziej instynkujące interakcje człowiek-komputer. Śledzenie wzroku może dostarczyć informacji, które nie są bezpośrednio wyrażane przez uczestników badania, które w przeciwnym razie mogłyby zostać łatwo pominięte przez badacza.
  • Monitorowanie trenowania i wydajności: Przećwiczyj i optymalizuj wykonywanie zadań, identyfikując wąskie gardła bardziej efektywnie w przepływie wykonywania. Śledzenie oczu może zapewnić informacje naturalne, w czasie rzeczywistym i celowe, aby pomóc w ulepszaniu szkoleń, produktywności i bezpieczeństwa w miejscu pracy.
  • Oceny projektu, marketing i badania konsumentów: Śledzenie wzroku umożliwia firmom komercyjnym wykonywanie badań marketingowych i konsumenckich w rzeczywistych środowiskach lub analizowanie, co przyciąga uwagę użytkownika w celu ulepszenia projektu produktu lub przestrzeni.

Inne przypadki użycia

  • Gier: Czy kiedykolwiek chciałem mieć superpowers? Oto Twoja szansa! Możesz edytować hologramy, wąskając na nie. Promienie laserowe z oczu — wypróbuj go w programie RoboRaid,aby uzyskać HoloLens 2 . Przekrój je w łasuchy lub zablokuj je. Eksploruj budynki przy użyciu obrazów rtg. Twoja wyobraźnia to limit! Należy jednak uważać, aby nie przeciążać użytkownika — aby dowiedzieć się więcej, zapoznaj się z naszymi wytycznymi dotyczącymi projektowania danych wejściowych opartymi na spojrzeniach.

  • Ekspresywne awatary: Śledzenie oczu pomaga w bardziej eksprestywnych awatarach 3D, używając danych śledzenia oczu na żywo do animowania oczu awatara, które wskazują, na co patrzy użytkownik.

  • Wpis tekstowy: Śledzenie wzroku może służyć jako alternatywa dla wprowadzania tekstu o niskim naejściu, szczególnie gdy mowa lub ręce są niewygodne w użyciu.


Korzystanie z spojrzenia wzrokowego na interakcję

Tworzenie interakcji, która wykorzystuje szybkie kierowanie wzroku, może być trudne. Z jednej strony oczy przemieszczają się tak szybko, że należy zachować ostrożność podczas korzystania z danych wejściowych z spojrzeniami oczu, ponieważ w przeciwnym razie użytkownicy mogą znaleźć środowisko przytłaczające lub rozpraszające uwagę. Z drugiej strony możesz również tworzyć naprawdę wspaniałe doświadczenia, które przytłaczają użytkowników. Aby ci pomóc, zapoznaj się z naszym omówieniem kluczowych zalet, wyzwań i zaleceń projektowych dotyczących interakcji z okiem.

Rozwiązania rezerwowe, gdy śledzenie wzroku nie jest dostępne

W rzadkich przypadkach dane śledzenia wzroku mogą być niedostępne. Może to być spowodowane różnymi przyczynami, z których najczęściej spotykane są wymienione poniżej:

  • System nie może skalibrować użytkownika.
  • Użytkownik pominął incydowanie.
  • Użytkownik jest skalibrowany, ale nie zdecydował się na nadaj aplikacji uprawnienia do używania danych śledzenia wzroku.
  • Użytkownik ma unikatowe okulary lub pewne warunki oka, których system jeszcze nie obsługuje.
  • Czynniki zewnętrzne, które wpływają na niezawodne śledzenie wzroku, takie jak smekły na HoloLens lub okularach, intensywne bezpośrednie pęcznienie i okluzacje z powodu zarostu przed wzrokiem.

Deweloperzy powinni upewnić się, że dla tych użytkowników jest zapewniona odpowiednia obsługa rezerwowa. Na stronie Eye Tracking in DirectX wyjaśnimy interfejsy API wymagane do wykrywania, czy dane śledzenia oka są dostępne.

Niektórzy użytkownicy mogą świadomie zdecydować się na odwołanie, ale dostęp do ich danych śledzenia wzroku i jest w porządku z powiązydaniem środowiska użytkownika z prywatnością, że nie zapewnia dostępu do danych śledzenia oczu, w niektórych przypadkach może to być przypadkowe. Jeśli aplikacja korzysta ze śledzenia wzroku i jest to ważna część obsługi, zalecamy jasne przekazanie tej informacji użytkownikowi.

Prosimy o poinformowanie użytkownika, dlaczego śledzenie oczu ma kluczowe znaczenie dla aplikacji (a może nawet wyświetlanie listy rozszerzonych funkcji) w celu pełnego potencjału aplikacji, może pomóc użytkownikowi lepiej zrozumieć, z czego z nich korzysta. Pomóż użytkownikowi określić, dlaczego śledzenie wzroku może nie działać (na podstawie powyższych testów) i zaoferuj sugestie szybkiego rozwiązywania potencjalnych problemów.

Jeśli na przykład można wykryć, że system obsługuje śledzenie wzroku, użytkownik jest skalibrowany i ma nawet uprawnienia, ale żadne dane dotyczące śledzenia wzroku nie są odbierane, może to prowadzić do innych problemów, takich jak smekły lub occluded.

Istnieją rzadkie przypadki użytkowników, dla których śledzenie wzroku może nie działać. Dlatego należy pamiętać o tym, zezwalając na odrzucanie, a nawet wyłączanie przypomnień w celu włączenia śledzenia wzroku w aplikacji.

Powrót do aplikacji korzystających z spojrzenia wzrokowego jako podstawowego wskaźnika wejściowego

Jeśli aplikacja używa spojrzenia oczu jako danych wejściowych wskaźnika do szybkiego wybierania hologramów w scenie, ale dane śledzenia oka są niedostępne, zalecamy powrót do spojrzenia w oku i rozpoczęcie wyświetlania kursora w oku. Zalecamy użycie limitu czasu (na przykład 500–1500 ms), aby określić, czy przełączyć się, czy nie. Ta akcja zapobiega pojawianiu się kursorów za każdym razem, gdy system może na krótko utracić śledzenie z powodu szybkich ruchu oczu lub pulsów i migania. Jeśli jesteś deweloperem aparatu Unity, automatyczny powrot do spojrzenia głowy jest już obsługiwany w zestawie narzędzi Mixed Reality Toolkit. Jeśli jesteś deweloperem directx, musisz samodzielnie obsłużyć ten przełącznik.

Wróć do innych aplikacji specyficznych dla śledzenia wzroku

Aplikacja może używać spojrzenia oczu w unikatowy sposób dostosowany specjalnie do potrzeb użytkownika. Może to być na przykład animowanie oczu awatara lub mapowanie cieplnych uwagi opartej na oku, oparte na dokładnych informacjach o wizualnej uwagi. W tym przypadku nie ma wyraźnego powrotu. Jeśli śledzenie wzroku nie jest dostępne, może być konieczne ich wyłączenie. Ponownie zalecamy jasne komunikowanie tego użytkownikowi, który może nie wiedzieć, że ta funkcja nie działa.


Mamy nadzieję, że na tej stronie znajdziesz dobre omówienie, aby rozpocząć zrozumienie roli śledzenia oczu i danych wejściowych dla HoloLens 2. Aby rozpocząć opracowywanie, zapoznaj się z naszymi informacjami na temat roli spojrzenia w interakcje z hologramami,spojrzeniem na aparatu Unity i spojrzeniem na oko w directx.

Zobacz też

Eye tracking demo in MRTK

HoloLens 2 umożliwia nowy poziom kontekstu i zrozumienia przez człowieka w ramach holograficznego doświadczenia, zapewniając deweloperom możliwość korzystania z informacji o tym, co użytkownik patrzy. Na tej stronie wyjaśniono, jak deweloperzy mogą korzystać ze śledzenia wzroku w różnych przypadkach użycia oraz na czym należy zwrócić uwagę podczas projektowania interakcji z użytkownikami opartymi na oku.

Interfejs API śledzenia wzroku został zaprojektowany z myślą o prywatności użytkownika, unikając przekazywania jakichkolwiek informacji umożliwiających identyfikację, szczególnie biometrycznych. W przypadku aplikacji z możliwością śledzenia wzroku użytkownik musi przyznać aplikacji uprawnienia do korzystania z informacji o śledzeniu oczu.

Obsługa urządzeń