Introduktion till mässiga interaktioner

För att undvika luckor i användarinteraktionsupplevelsen är det bäst att följa riktlinjerna för en enskild modell från början till slut.

I avsnitten nedan går vi igenom stegen för att välja och implementera någon av dessa interaktionsmodeller.

I slutet av den här sidan kommer du att förstå vår vägledning om:

• Välja en interaktionsmodell för kunden
• Implementera interaktionsmodellen
• Övergång mellan interaktionsmodeller
• Utforma nästa steg

Välj en interaktionsmodell för din kund

Vanligtvis har utvecklare och skapare tänkt igenom vilka typer av interaktioner deras kunder kan ha. För att uppmuntra en kundfokuserad metod för design rekommenderar vi följande riktlinjer för att välja den interaktionsmodell som är optimerad för din kund.

Varför bör du följa den här vägledningen?

• Vi testar våra interaktionsmodeller med hjälp av mål- och subjektiva kriterier, inklusive fysisk och kognitiv arbetsinsats, intuitivhet och inlärning.
• Eftersom interaktioner skiljer sig åt kan visuella/ljud-priser och objektbeteende skilja sig åt mellan interaktionsmodeller.
• Genom att kombinera delar av flera interaktionsmodeller skapas en risk för konkurrerande priser, till exempel samtidiga handbilder och en huvudmarkör. Detta kan överbelasta och förvirra användare.

Här följer några exempel på hur priser och beteenden är optimerade för varje interaktionsmodell. Vi ser ofta att nya användare har liknande frågor, till exempel "hur vet jag att systemet fungerar","hur vet jag vad jag kan göra"och "hur vet jag om det förstår vad jag just gjorde?"

Nedan visas frågor som vi har hittat hjälpteam för att välja en interaktionsmodell:

1. F: Vill mina användare röra hologram och utföra holografisk precisionsmanipulering?
   
   S: I så fall kan du titta på interaktionsmodellen för hand- och rörelsekontroller för precisionsanpassning och manipulering.

2. F: Behöver mina användare hålla händerna fria för verkliga uppgifter?
   
   S: Ta i så fall en titt på interaktionsmodellen handsfree, som ger en bra handsfree-upplevelse via blick- och röstbaserade interaktioner.

3. F: Har mina användare tid att lära sig interaktioner för mitt MR-program eller behöver de interaktioner med den lägsta inlärningskurvan som är möjlig?
   
   S: För den lägsta inlärningskurvan och de mest intuitiva interaktionerna rekommenderar vi modellen för hand- och rörelsekontroller så länge användarna kan använda händerna för interaktion.

4. F: Använder mina användare rörelsekontroller för att peka och manipulera?
   
   S: Modellen för hand- och rörelsekontroller innehåller all vägledning för en bra upplevelse med rörelsekontroller.

5. F: Använder mina användare en hjälpmedelsstyrenhet eller en Bluetooth kontrollant, till exempel en klickare?
   
   S: Vi rekommenderar huvudmodell och genomföringsmodell för alla icke-spårade styrenheter. Den är utformad för att göra det möjligt för en användare att gå igenom en hel upplevelse med en enkel "mål- och genomförandemekanism".

6. F: Går mina användare bara igenom en upplevelse genom att "klicka sig igenom" (till exempel i en 3D-bildspelsliknande miljö), i stället för att navigera i kompakta layouter för ui-kontroller?
   
   S: Om användarna inte behöver styra många användargränssnitt ger head-gaze and commit ett läsbart alternativ där användarna inte behöver bekymra sig om målanpassning.

7. F: Använder mina användare både HoloLens (första generationen) och HoloLens 2/Windows Mixed Reality integrerande headset (VR)?
   
   S: Eftersom head-gaze and commit är interaktionsmodellen för HoloLens (1:a gen) rekommenderar vi att skapare som stöder HoloLens (första generationen) använder head-blick och genomför för funktioner eller lägen som användarna kommer att uppleva på ett HoloLens-headset (första generationen). Se nästa avsnitt om övergång av interaktionsmodeller för mer information om hur du gör en bra upplevelse för flera HoloLens generationer.

8. F: Vad gäller för användare som är mobila, täcker ett stort utrymme eller flyttar mellan utrymmen, jämfört med användare som tenderar att arbeta i ett enda utrymme?
   
   S: Alla interaktionsmodeller fungerar för dessa användare.

Övergångsinteraktionsmodeller

Det finns även användningsfall som kan kräva att fler än en interaktionsmodell används. Till exempel använder programmets skapandeflöde interaktionsmodellen "hand- och rörelsekontroller", men du vill använda ett handsfree-läge för fälttekniker. Om din upplevelse kräver flera interaktionsmodeller kan användarna ha svårt att övergå från en modell till en annan, särskilt när de är nybörjare på mixad verklighet.

Se även

• Komfort
• Ögonbaserad interaktion
• Ögonspårning på HoloLens 2
• Blick och genomför
• Blick och blick
• Händer – direkt manipulering
• Händer – gester
• Hands – Peka och genomför
• Mässiga interaktioner
• Rörelsekontroller
• Rumslig mappning
• Rumslig ljuddesign
• Röstinmatning

Filosofin bakom enkla, språkiga interaktioner är sammanflätad på hela MR-plattformen (Mixed Reality). Vi har vidtagit tre steg för att säkerställa att programdesigners och utvecklare kan ge sina kunder enkla och intuitiva interaktioner.

Först har vi sett till att våra sensorer och indatatekniker kombineras till multimodala interaktionsmodeller. Dessa interaktionsmodeller innehåller hand- och ögonspårning tillsammans med naturliga språkindata. Baserat på vår forskning är design och utveckling inom ett multimodalt ramverk (och inte baserat på enskilda indata) nyckeln till att skapa grafiska upplevelser.

För det andra är vi medvetna om att många utvecklare riktar HoloLens flera HoloLens-enheter, till exempel HoloLens 2 och HoloLens (första generationen) eller HoloLens och VR. Därför har vi utformat våra interaktionsmodeller så att de fungerar på olika enheter, även om indatatekniken varierar på varje enhet. Till exempel använder långt interaktion på Windows Avancerad headset med en 6DoF-styrenhet och HoloLens 2 identiska priser och mönster. Detta gör det enkelt för programutveckling mellan olika enheter och ger en naturlig känsla för användarinteraktioner.

Vi är medvetna om att det finns tusentals effektiva, engagerande och engagerande interaktioner som är möjliga i MR, men vi har upptäckt att avsiktligt användning av en enda interaktionsmodell i ett program är det bästa sättet att se till att användarna lyckas och får en bra upplevelse. Därför har vi tagit med tre saker i den här interaktionsvägledningen:

• Specifik vägledning kring de tre primära interaktionsmodellerna samt de komponenter och mönster som krävs för var och en.
• Kompletterande vägledning om andra fördelar som vår plattform ger.
• Allmänna riktlinjer som hjälper dig att välja lämplig interaktionsmodell för ditt utvecklingsscenario.

Demonstration av grundläggande handspårning och kritsliga interaktioner

Kolla in videodemonstrationen Designing Hologram - Head Tracking and Eye Tracking nedan och gå sedan vidare till mer specifika ämnen:

Den här videon har tagits från appen "Designa Hologram" HoloLens 2. Ladda ned och få en fullständig upplevelse här.

Modeller för multimodal interaktion

Baserat på vår forskning och feedback från kunder har vi upptäckt att tre primära interaktionsmodeller passar de flesta upplevelser med mixad verklighet. Interaktionsmodellen är på många sätt användarens mentala modell för hur ett arbetsflöde ska slutföras. Var och en av dessa interaktionsmodeller är optimerade för en uppsättning kundbehov och är praktiska, kraftfulla och användbara när de används korrekt.

Diagrammet nedan är en förenklad översikt. Detaljerad information om hur du använder varje interaktionsmodell länkas på sidorna nedan med bilder och kodexempel.