Introduktion till språkiga interaktioner

Manipulering med händer

Filosofin bakom enkla, språkiga interaktioner är sammanflätad i hela plattformen för mixad verklighet (MR). Vi har vidtagit tre steg för att säkerställa att programdesigners och utvecklare kan ge sina kunder enkla och intuitiva interaktioner.

Först har vi sett till att våra sensorer och indatatekniker kombineras till multimodala interaktionsmodeller. Dessa interaktionsmodeller innehåller hand- och ögonspårning tillsammans med naturligt språk. Baserat på vår forskning är design och utveckling inom ett multimodalt ramverk (och inte baserat på enskilda indata) nyckeln till att skapa fiktiva upplevelser.

För det andra är vi medvetna om att många utvecklare riktar HoloLens flera enheter, till exempel HoloLens 2 och HoloLens (första generationen) eller HoloLens och VR. Vi har därför utformat våra interaktionsmodeller så att de fungerar mellan olika enheter, även om indatatekniken varierar på varje enhet. Till exempel använder långt interaktion på Windows Avancerad headset med en 6DoF-styrenhet och HoloLens 2 identiska priser och mönster. Detta gör det enkelt för programutveckling mellan enheter och ger en naturlig känsla för användarinteraktioner.

Vi är medvetna om att det finns tusentals effektiva, engagerande och magiska interaktioner som är möjliga i MR, men vi har upptäckt att avsiktlig användning av en enda interaktionsmodell i ett program är det bästa sättet att se till att användarna lyckas och får en bra upplevelse. Därför har vi tagit med tre saker i den här interaktionsvägledningen:

  • Specifik vägledning kring de tre primära interaktionsmodellerna och de komponenter och mönster som krävs för var och en.
  • Kompletterande vägledning om andra fördelar som vår plattform erbjuder.
  • Allmänna riktlinjer som hjälper dig att välja lämplig interaktionsmodell för ditt utvecklingsscenario.

Demonstration av grundläggande handspårning och språkiga interaktioner

Kolla in videodemonstrationen Designing Hologram - Head Tracking and Eye Tracking nedan och gå sedan vidare till mer specifika ämnen:

Den här videon har tagits från appen "Designa Hologram" HoloLens 2. Ladda ned och få en fullständig upplevelse här.

Multimodala interaktionsmodeller

Baserat på vår forskning och feedback från kunder har vi upptäckt att tre primära interaktionsmodeller passar de flesta upplevelser med mixad verklighet. Interaktionsmodellen är på många sätt användarens mentala modell för att slutföra ett arbetsflöde. Var och en av dessa interaktionsmodeller är optimerade för en uppsättning kundbehov och är praktiska, kraftfulla och användbara när de används på rätt sätt.

Diagrammet nedan är en förenklad översikt. Detaljerad information om hur du använder varje interaktionsmodell länkas på sidorna nedan med bilder och kodexempel.


Modell Exempelscenarier Anpassning Maskinvara
Hand- och rörelsekontroller Tredimensionella upplevelser, till exempel rumslayout och design, innehållsmanipulation eller simulering. Perfekt för nya användare tillsammans med röst, ögonspårning och huvudriktning. Lätt att lära sig. Konsekvent UX för handspårning och 6DoF-kontroller. HoloLens 2
Integrerande headset
Hands-free Kontextuella upplevelser där en användares händer används, till exempel utbildning och underhåll på jobbet. Viss utbildning krävs. Om händerna inte är tillgängliga kan enheten styras med röst och naturligt språk. HoloLens 2
HoloLens (första gen)
Integrerande headset
Blick och genomför Klicka dig igenom upplevelser, till exempel 3D-presentationer, demonstrationer. Kräver utbildning på HMD:er men inte på mobil. Bäst för tillgängliga styrenheter. Bäst för HoloLens (första gen). HoloLens 2
HoloLens (första gen)
Integrerande headset
Mobil AR

För att undvika luckor i användarinteraktionsupplevelsen är det bäst att följa riktlinjerna för en enskild modell från början till slut.

I avsnitten nedan går vi igenom stegen för att välja och implementera en av dessa interaktionsmodeller.

I slutet av den här sidan kommer du att förstå vår vägledning om:

  • Välja en interaktionsmodell för din kund
  • Implementera interaktionsmodellen
  • Övergång mellan interaktionsmodeller
  • Utforma nästa steg

Välj en interaktionsmodell för din kund

Vanligtvis har utvecklare och skapare tänkt igenom vilka typer av interaktioner deras kunder kan ha. För att uppmuntra en kundfokuserad designmodell rekommenderar vi följande riktlinjer för att välja den interaktionsmodell som är optimerad för din kund.

Varför bör du följa den här vägledningen?

  • Vi testar våra interaktionsmodeller för mål- och subjektiva kriterier, inklusive fysisk och kognitiv ansträngning, intuitivhet och inlärning.
  • Eftersom interaktioner skiljer sig åt kan visuella/ljud-priser och objektbeteende skilja sig åt mellan interaktionsmodeller.
  • Genom att kombinera delar av flera interaktionsmodeller finns det risk för konkurrerande priser, till exempel samtidiga handbilder och en huvudmarkör. Detta kan överbelasta och förvirra användare.

Här följer några exempel på hur priser och beteenden är optimerade för varje interaktionsmodell. Vi ser ofta att nya användare har liknande frågor, till exempel "hur vet jag att systemet fungerar","hur vet jag vad jag kan göra" och "hur vet jag om det förstår vad jag just gjorde?"


Modell Hur gör jag för att att det fungerar? Hur gör jag för att vet du vad jag kan göra? Hur gör jag för att vet du vad jag just gjorde?
Hand- och rörelsekontroller Jag ser ett handnät, ett finger med råd eller hand-/kontrollantsor. Jag ser handtag som går att ta tag i, eller så visas en begränsningsruta när min hand är nära ett objekt. Jag hör hörbara toningar och ser animeringar när jag hämtar och släpper.
Blick och genomför Jag ser en markör i mitten av mitt visningsfält. Markören ändrar tillstånd när den är över vissa objekt. Jag ser/hör visuella objekt och hörbara bekräftelser när jag agerar.
Handsfree (blick och andning) Jag ser en markör i mitten av mitt visningsfält. Jag ser en förloppsindikator när jag tänker på ett objekt som kan interagera. Jag ser/hör visuella objekt och hörbara bekräftelser när jag agerar.
Handsfree (röstkommando) Jag ser en lyssningsindikator och undertexter som visar vad systemet har hört. Jag får röstmeddelanden och tips. När jag säger: "Vad kan jag säga?" Jag ser feedback. Jag ser/hör visuella objekt och hörbara bekräftelser när jag ger ett kommando eller får tvetydighets-UX när det behövs.

Nedan visas frågor som vi har hittat hjälpteamen för att välja en interaktionsmodell:

  1. F: Vill mina användare röra hologram och utföra holografisk precisionsmanipulering?

    S: I så fall kan du titta på interaktionsmodellen för hand- och rörelsekontroller för precisionsanpassning och manipulering.

  2. F: Behöver mina användare hålla händerna fria för verkliga uppgifter?

    S: Ta i så fall en titt på interaktionsmodellen Handsfree, som ger en bra handsfree-upplevelse genom blick- och röstbaserade interaktioner.

  3. F: Har mina användare tid att lära sig interaktioner för mitt MR-program eller behöver de interaktioner med den lägsta inlärningskurvan som är möjlig?

    S: För den lägsta inlärningskurvan och de mest intuitiva interaktionerna rekommenderar vi modellen för hand- och rörelsekontroller, så länge användarna kan använda händerna för interaktion.

  4. F: Använder mina användare rörelsekontroller för att peka och manipulera?

    S: Modellen för hand- och rörelsekontroller innehåller all vägledning för en bra upplevelse med rörelsekontroller.

  5. F: Använder mina användare en hjälpmedelsstyrenhet eller en Bluetooth kontrollant, till exempel en klickare?

    S: Vi rekommenderar modellen head-gaze and commit för alla icke-spårade styrenheter. Den är utformad för att tillåta en användare att gå igenom en hel upplevelse med en enkel "mål- och genomförandemekanism".

  6. F: Går mina användare bara igenom en upplevelse genom att "klicka sig igenom" (till exempel i en 3D-miljö med bildspel), i stället för att navigera i kompakta layouter för UI-kontroller?

    S: Om användarna inte behöver kontrollera många användargränssnitt erbjuder head-gaze and commit ett läsbart alternativ där användarna inte behöver bekymra sig om målanpassning.

  7. F: Använder mina användare både HoloLens (första generationen) och HoloLens 2/Windows Mixed Reality integrerande headset (VR)?

    S: Eftersom head-gaze och commit är interaktionsmodellen för HoloLens (1:a gen) rekommenderar vi att skapare som stöder HoloLens (första generationen) använder head-gaze och commit för funktioner eller lägen som användarna kommer att uppleva på ett HoloLens-headset (första gen). Mer information om hur du gör en bra upplevelse för flera HoloLens generationer finns i nästa avsnitt om övergångsinteraktionsmodeller.

  8. F: Vad gäller för användare som är mobila, täcker ett stort utrymme eller flyttar mellan utrymmen, jämfört med användare som tenderar att arbeta i ett enda utrymme?

    S: Alla interaktionsmodeller fungerar för dessa användare.

Anteckning

Mer vägledning som är specifik för appdesign kommer snart.

Övergångsinteraktionsmodeller

Det finns även användningsfall som kan kräva att fler än en interaktionsmodell används. Programmets skapandeflöde använder till exempel interaktionsmodellen "hand- och rörelsekontrollers", men du vill använda ett handsfree-läge för fälttekniker. Om din upplevelse kräver flera interaktionsmodeller kan användarna ha svårt att övergå från en modell till en annan, särskilt när de är nybörjare på mixad verklighet.

Anteckning

Vi arbetar ständigt med mer vägledning som blir tillgänglig för utvecklare och designers och informerar dem om hur, när och varför de ska använda flera MR-interaktionsmodeller.

Se även