Wprowadzenie instynktownych interakcji

Artykuł
07/12/2023

Dalekie manipulowanie rękami

Filozofia prostych, instynktownych interakcji jest wplatana w całej platformie rzeczywistości mieszanej (MR). Wykonaliśmy trzy kroki, aby zapewnić, że projektanci aplikacji i deweloperzy mogą zapewnić swoim klientom łatwe i intuicyjne interakcje.

Najpierw upewniliśmy się, że nasze czujniki i technologie wejściowe łączą się w modele interakcji wielomodalnych. Te modele interakcji obejmują śledzenie dłoni i oczu wraz z danymi wejściowymi języka naturalnego. W oparciu o nasze badania projektowanie i opracowywanie w ramach wielomodalnych struktur (a nie na podstawie indywidualnych danych wejściowych) jest kluczem do tworzenia instynktownych doświadczeń.

Po drugie, wiemy, że wielu deweloperów dotyczy wielu urządzeń HoloLens, takich jak HoloLens 2 i HoloLens (1. gen) lub HoloLens i VR. W związku z tym zaprojektowaliśmy nasze modele interakcji do pracy między urządzeniami, nawet jeśli technologia wejściowa różni się na każdym urządzeniu. Na przykład daleko interakcji na zestawie słuchawkowym immersyjnym systemu Windows z kontrolerem 6DoF i HoloLens 2 używają identycznych cen i wzorców. Ułatwia to tworzenie aplikacji między urządzeniami i zapewnia naturalny sposób interakcji z użytkownikami.

Chociaż wiemy, że istnieje tysiące skutecznych, angażujących i magicznych interakcji możliwych w mr, odkryliśmy, że celowo zastosowanie jednego modelu interakcji w aplikacji jest najlepszym sposobem zapewnienia, że użytkownicy odniosą sukces i mają wspaniałe doświadczenie. W tym celu uwzględniliśmy trzy elementy w tych wskazówkach dotyczących interakcji:

Konkretne wskazówki dotyczące trzech podstawowych modeli interakcji oraz składników i wzorców wymaganych dla każdego z nich.
Dodatkowe wskazówki dotyczące innych korzyści oferowanych przez naszą platformę.
Ogólne wskazówki ułatwiające wybranie odpowiedniego modelu interakcji dla scenariusza programowania.

Demonstracja podstawowego śledzenia rąk i interakcji instynktownych

Zapoznaj się z poniższym pokazem wideo Projektowanie hologramów — śledzenie głowy i śledzenie oczu , a następnie przejdź do bardziej szczegółowych tematów:

To wideo zostało zrobione z aplikacji "Projektowanie hologramów" HoloLens 2. Pobierz i ciesz się pełnym doświadczeniem tutaj.

Modele interakcji wielomodalnych

Na podstawie naszych badań i opinii klientów odkryliśmy, że trzy podstawowe modele interakcji odpowiadają większości środowisk rzeczywistości mieszanej. Na wiele sposobów model interakcji jest modelem psychicznym użytkownika umożliwiającym ukończenie przepływu pracy. Każdy z tych modeli interakcji jest zoptymalizowany pod kątem zestawu potrzeb klientów i jest wygodny, zaawansowany i użyteczny w przypadku prawidłowego użycia.

Poniższy wykres jest uproszczonym omówieniem. Szczegółowe informacje dotyczące korzystania z każdego modelu interakcji są połączone na poniższych stronach z obrazami i przykładami kodu.

Model	Przykładowe scenariusze	Dopasowanie	Sprzęt
Kontrolery rąk i ruchu	Środowiska przestrzenne 3D, takie jak projekt i układ przestrzenny, manipulowanie zawartością lub symulacja.	Doskonałe rozwiązanie dla nowych użytkowników w połączeniu z głosem, śledzeniem oczu lub spojrzeniem obejmującym użycie głowy. Mała szybkość nauki. Spójne środowisko użytkownika w ramach śledzenia dłoni i kontrolerów 6DoF.	HoloLens 2 Immersyjne zestawy słuchawkowe
Bez użycia rąk	Kontekstowe środowiska, w którym ręce użytkownika są zajęte, takie jak nauka w trakcie wykonywania zadania i obsługa tego zadania.	Wymagany jest pewien zakres nauki. Jeśli ręce są niedostępne, urządzenie dobrze współdziała z głosem i językiem naturalnym.	HoloLens 2 HoloLens (1. generacja) Immersyjne zestawy słuchawkowe
Spojrzenie i zatwierdzenie	Środowiska z nawigacją za pomocą kliknięć, na przykład prezentacje 3D i pokazy.	Wymaga szkolenia na HMD, ale nie na urządzeniach przenośnych. Najlepsze rozwiązanie w przypadku kontrolerów z ułatwieniami dostępu. Najlepsze dla urządzenia HoloLens (1. generacja).	HoloLens 2 HoloLens (1. generacja) Immersyjne zestawy słuchawkowe Mobilny ar

Aby uniknąć luk w środowisku interakcji użytkownika, najlepiej jest postępować zgodnie ze wskazówkami dotyczącymi pojedynczego modelu od początku do końca.

W poniższych sekcjach przedstawiono kroki wybierania i implementowania jednego z tych modeli interakcji.

Na końcu tej strony poznasz nasze wskazówki dotyczące:

Wybieranie modelu interakcji dla klienta
Implementowanie modelu interakcji
Przechodzenie między modelami interakcji
Projektowanie następnych kroków

Wybieranie modelu interakcji dla klienta

Zazwyczaj deweloperzy i twórcy rozważali typy interakcji, które mogą mieć ich klienci. Aby zachęcić klienta do projektowania, zalecamy skorzystanie z poniższych wskazówek dotyczących wybierania modelu interakcji zoptymalizowanego pod kątem klienta.

Dlaczego warto przestrzegać tych wskazówek?

Testujemy nasze modele interakcji pod kątem obiektywnych i subiektywnych kryteriów, w tym wysiłku fizycznego i poznawczego, intuicyjności i możliwości uczenia się.
Ponieważ interakcje różnią się, dostępność wizualizacji/dźwięku i zachowanie obiektu może się różnić między modelami interakcji.
Połączenie części wielu modeli interakcji stwarza ryzyko konkurencyjnych przystępności, takich jak jednoczesne promienie dłoni i kursor głowy. Może to spowodować przeciążenie systemu i zdezorientować użytkowników.

Poniżej przedstawiono kilka przykładów optymalizacji cen i zachowań dla każdego modelu interakcji. Często widzimy, że nowi użytkownicy mają podobne pytania, takie jak "jak wiem, że system działa", "jak mogę wiedzieć, co mogę zrobić", i "jak mogę wiedzieć, czy to właśnie zrobiłem?"

Model	Jak mogę wiedzieć, że to działa?	Jak mogę wiedzieć, co mogę zrobić?	Jak mogę wiedzieć, co właśnie zrobiłem?
Kontrolery rąk i ruchu	Widzę siatkę rąk, przystępność palca lub promienie dłoni/ kontrolera.	Widzę uchwyty do chwytania lub pole ograniczenia pojawia się, gdy moja ręka znajduje się w pobliżu obiektu.	Słyszę dźwięki słyszalne i widzę animacje na chwycie i wydaniu.
Spojrzenie na głowę i zatwierdzenie	Widzę kursor w środku mojego pola widoku.	Kursor zmienia stan po przekroczeniu niektórych obiektów.	Widzę/słyszę wizualne i słyszę potwierdzenia podczas wykonywania akcji.
Bez rąk (spojrzenie na głowę i mieszkanie)	Widzę kursor w środku mojego pola widoku.	Widzę wskaźnik postępu, gdy zastanawiam się nad obiektem, który można wchodzić w interakcję.	Widzę/słyszę wizualne i słyszę potwierdzenia podczas wykonywania akcji.
Bez rąk (polecenie głosowe)	Widzę wskaźnik nasłuchiwania i podpisy, które pokazują, co system usłyszał.	Otrzymuję monity głosowe i wskazówki. Kiedy mówię: "Co mogę powiedzieć?" Widzę opinię.	Widzę/słyszę wizualne i słyszalne potwierdzenia, gdy daję polecenie, lub w razie potrzeby otrzymuję uściślanie środowiska użytkownika.

Poniżej znajdują się pytania ułatwiające zespołom wybieranie modelu interakcji:

Pyt.: Czy moi użytkownicy chcą dotykać hologramów i wykonywać precyzyjne manipulacje holograficzne?

1: Jeśli tak, zapoznaj się z modelem interakcji kontrolerów ruchu i rąk, aby uzyskać precyzyjne kierowanie i manipulowanie.
Pyt.: Czy moi użytkownicy muszą zachować swobodę rąk w rzeczywistych zadaniach?

1: Jeśli tak, przyjrzyj się modelowi interakcji bez rąk, który zapewnia doskonałe praktyczne środowisko dzięki interakcji z spojrzeniem i interakcjami opartymi na głosie.
Pyt.: Czy moi użytkownicy mają czas na naukę interakcji z aplikacją MR lub czy potrzebują interakcji z najniższą możliwą krzywą uczenia?

1: W przypadku najniższej krzywej uczenia i najbardziej intuicyjnych interakcji zalecamy model kontrolerów rąk i ruchu, o ile użytkownicy mogą korzystać z rąk do interakcji.
Pyt.: Czy moi użytkownicy używają kontrolerów ruchu do wskazywania i manipulowania nimi?

1: Model kontrolerów rąk i ruchu zawiera wszystkie wskazówki dotyczące doskonałego doświadczenia z kontrolerami ruchu.
Pyt.: Czy moi użytkownicy używają kontrolera ułatwień dostępu lub wspólnego kontrolera Bluetooth, takiego jak kliknięcie?

1: Zalecamy model head-gaze i commit dla wszystkich nieśledzenia kontrolerów. Została zaprojektowana tak, aby umożliwić użytkownikowi przechodzenie przez całe środowisko za pomocą prostego mechanizmu "docelowego i zatwierdzania".
Pyt.: Czy moi użytkownicy przechodzą przez środowisko tylko przez "kliknięcie" (na przykład w środowisku przypominającym pokaz slajdów 3D), w przeciwieństwie do poruszania się po gęstych układach kontrolek interfejsu użytkownika?

1: Jeśli użytkownicy nie muszą kontrolować wielu interfejsów użytkownika, spojrzenie na głowę i zatwierdzenie oferuje możliwość nauki, w której użytkownicy nie muszą martwić się o kierowanie.
Pyt.: Czy moi użytkownicy używają urządzeń HoloLens (1. generacji) i HoloLens 2/Windows Mixed Reality immersyjnych zestawów słuchawkowych (VR)?

1: Ponieważ spojrzenie na głowę i zatwierdzenie są modelem interakcji dla urządzenia HoloLens (1. generacji), zalecamy, aby twórcy, którzy obsługują urządzenie HoloLens (1. generacja), używali funkcji head-gaze i zatwierdzania dla wszystkich funkcji lub trybów, które użytkownicy będą doświadczać na zestawie słuchawkowym HoloLens (1. generacji). Zobacz następną sekcję dotyczącą przenoszenia modeli interakcji , aby uzyskać szczegółowe informacje na temat tworzenia doskonałego środowiska dla wielu generacji urządzeń HoloLens.
Pyt.: Co z użytkownikami, którzy są mobilni, obejmującym dużą przestrzeń lub przenosząc się między przestrzeniami, a użytkownikami, którzy mają tendencję do pracy w jednej przestrzeni?

1: Każdy z modeli interakcji będzie działać dla tych użytkowników.

Uwaga

Więcej wskazówek dotyczących projektowania aplikacji będzie wkrótce.

Przenoszenie modeli interakcji

Istnieją również przypadki użycia, które mogą wymagać użycia więcej niż jednego modelu interakcji. Na przykład przepływ tworzenia aplikacji korzysta z modelu interakcji "kontrolery rąk i ruchu" , ale chcesz użyć trybu bezobsługowego dla techników terenowych. Jeśli środowisko wymaga wielu modeli interakcji, użytkownicy mogą mieć trudności z przejściem z jednego modelu do drugiego, zwłaszcza gdy dopiero zaczyna się od rzeczywistości mieszanej.