Vad är mixad verklighet?


Miljöindata och uppfattning

Under de senaste årtiondena har relationen mellan människor och datorer fortsatt att utvecklas med hjälp av indatametoder. Ett nytt område har vuxit fram som kallas interaktion mellan människor och datorer eller "HCI". Mänsklig inmatning kan nu innehålla tangentbord, mice, touch, ink, röst och Kinect skeletspårning.

Framsteg inom sensorer och bearbetningskraft skapar nya datoruppfattningar av miljöer baserat på avancerade indatametoder. Det är därför API-namn i Windows som avslöjar miljöinformation kallas för uppfattnings-API:er. Miljöindata kan samla in:

  • en persons kroppsposition i den fysiska världen (huvudspårning)
  • objekt, ytor och gränser (rumsligmappning och scenförståelse)
  • omgivande belysning och ljud
  • objektigenkänning
  • fysiska platser

Venndiagram som visar interaktioner mellan datorer, människor och miljöer
Bild: Interaktioner mellan datorer, människor och miljöer.


En kombination av tre viktiga element anger fasen för att skapa verkliga upplevelser med mixad verklighet:

  • Datorbearbetning som drivs av molnet
  • Avancerade indatametoder
  • Miljöuppfattningar

När vi går igenom den fysiska världen mappas våra rörelser i en digital verklighet. Fysiska gränser påverkar upplevelser med mixad verklighet, till exempel spel eller uppgiftsbaserad vägledning i en tillverkningsanläggning, i den digitala världen. Med miljöindata och uppfattningar börjar upplevelserna blandas mellan fysiska och digitala verkligheter.



Spektrumet för mixad verklighet

Mixad verklighet blandar både fysiska och digitala världar. Dessa två verkligheter markerar polerna i ett spektrum som kallas virtualitetskontinuum. Vi refererar till det här spektrumet av realiteter som det mixade verklighetsspektrumet. I ena änden av spektrumet har vi den fysiska verklighet som vi människor finns i. I den andra änden av spektrumet har vi motsvarande digitala verklighet.



Förhöjd jämfört med virtuell verklighet

De flesta mobiltelefoner på marknaden har idag lite eller inga funktioner för miljöuppfattning. De upplevelser som dessa telefoner erbjuder kan inte blanda fysiska och digitala verkligheter.

Upplevelserna som överlappar grafik, videoströmmar eller hologram i den fysiska världen kallas förhöjd verklighet. De upplevelser som ockludera din vy för att presentera en helt integrerande digital upplevelse är virtuell verklighet. Upplevelserna som kan övergå mellan förhöjda och virtuella verkligheter bildar mixad verklighet, där du kan:

  • Placera ett digitalt objekt, till exempel ett hologram, i den fysiska världen som om det vore fysiskt närvarande.
  • Vara personligt och digitalt närvarande i den fysiska världen, i form av en avatar, för att asynkront samarbeta med andra vid olika tidpunkter.

När en användare befinner sig i en virtuell verklighet representeras de fysiska hinder i den omedelbara miljön, till exempel väggar och väggar, digitalt i upplevelsen så att användaren inte kan krocka med dessa fysiska hinder.


Spektrumet för mixad verklighet
Bild: Spektrumet för mixad verklighet


De flesta upplevelser för förhöjd verklighet och virtuell verklighet som är tillgängliga i dag representerar en liten delmängd av det större spektrumet av mixad verklighet. Windows 10 byggs med hela spektrumet i åtanke och tillåter blandning av digitala representationer av människor, platser och saker med den verkliga världen.

Enheter och upplevelser

Det finns två huvudtyper av enheter som levererar Windows Mixed Reality upplevelser:

  1. Holografiska enheter kännetecknas av enhetens förmåga att visa digitala objekt som om de fanns i den verkliga världen.
  2. Integrerande VR-enheter kännetecknas av enhetens förmåga att skapa en känsla av närvaro genom att blockera den fysiska världen och ersätta den med en helt integrerande digital upplevelse.
Egenskap Holografiska enheter Integrerande enheter
Exempelenhet Microsoft HoloLens

Microsoft HoloLens 2 bild
Samsung HMDHl+

Samsung HMD – bild
Skärm Visning av visning. Tillåter att användaren ser den fysiska miljön när han eller hon bär headset. Täckande visning. Blockerar den fysiska miljön när du bär headset.
Flytt Fullständig rörelse med sex grader av frihet, både rotation och översättning. Fullständig rörelse med sex grader av frihet, både rotation och översättning.

Anteckning

Om en enhet är ansluten till en separat dator (via USB-kabel eller Wi-Fi) eller ej ansluten, återspeglar inte huruvida en enhet är holografisk eller avancerad. Funktioner som förbättrar mobiliteten ger ofta bättre upplevelser. Holografiska och integrerande enheter kan vara antingen internetuppdelade eller ouppdelade.

Upplevelser med mixad verklighet är resultatet av tekniska framsteg. Det finns inte några enheter i dag som kan köra upplevelser över hela spektrumet. Windows 10 en gemensam plattform för mixad verklighet för både enhetstillverkare och utvecklare. Alla enheter i dag har stöd för ett specifikt intervall inom spektrumet för mixad verklighet. I framtiden förväntas nya enheter med mer omfattande intervall: holografiska enheter blir mer integrerande och integrerande enheter blir mer holografiska.


Enhetstyper i spektrumet för mixad verklighet
Bild: Där enheter finns i mixed reality-spektrumet

Vilken typ av upplevelser vill du skapa som program- eller spelutvecklare? Upplevelserna riktar sig vanligtvis mot en viss punkt eller del i spektrumet. Du måste tänka på funktionerna för enheter som du vill rikta in dig på. Upplevelser som förlitar sig på den fysiska världen körs bäst på HoloLens.

  • Åt vänster (nära fysisk verklighet). Användare finns kvar i sin fysiska verklighet och är inte gjorda för att tro att de har lämnat den verkligheten.
  • I mitten (helt mixad verklighet). Dessa upplevelser blandar den verkliga världen och den digitala världen. I filmen Jumanjiblandas till exempel den fysiska strukturen i det hus där berättelsen ägde rum med en miljö där miljön var en liten miljö.
  • Åt höger (nära digital verklighet). Användare upplever en digital verklighet och är inte medvetna om den fysiska verkligheten runt dem.

Nästa identifieringskontrollpunkt

Du är i början av identifieringsresan som vi har skapat åt dig och utforskar grunderna i mixad verklighet. Härifrån kan du fortsätta till nästa grundläggande ämne:

Mixad verklighet är nästa våg inom databehandling efter stordatorer, datorer och smartphones. Mixad verklighet blir allt vanligare för konsumenter och företag. Det hjälper oss från skärmbundna upplevelser genom att erbjuda språkiga interaktioner med data i våra levande utrymmen och med våra vänner. Onlineutforskare, som finns på hundratals miljoner i hela världen, har uppleva mixad verklighet via sina enheter. Mobil AR erbjuder de mest vanliga lösningar för mixad verklighet i dag på sociala medier. Människor kanske inte ens inser att de AR-filter som de använder på Instagram är upplevelser med mixad verklighet. Windows Mixed Reality tar alla dessa användarupplevelser till nästa nivå med en kombination av verkligt fantastiska holografiska representationer av människor och hög återgivning av holografiska 3D-modeller och den verkliga världen runt dem.

Peka och genomför med praktiska HoloLens 2

Mixad verklighet är en blandning av fysiska och digitala världar som ger tillgång till naturliga och intuitiva interaktioner mellan människor, datorer och miljön i 3D. Den här nya verkligheten bygger på framsteg inom visuellt objekt, grafisk bearbetning, visningstekniker, indatasystem och molnbaserad databehandling. Termen "mixed reality" introducerades i en artikel från 1994 av Paul Milgram och Fumio Kishino, "A Taxonomi of mixed reality Visual Displays." Deras artikel utforskade begreppet virtualitetskontinuum och taxonomin för visuella skärmar. Sedan dess har tillämpningen av mixad verklighet gått längre än att visa:

  • Miljöförståelse: rumslig mappning och fästpunkter.
  • Mänsklig förståelse: handspårning, ögonspårning och talindata.
  • Rumsligt ljud.
  • Platser och placering i både fysiska och virtuella utrymmen.
  • Samarbete om 3D-tillgångar i utrymmen med mixad verklighet.

Bilden med mixat verklighetsspektrum
Bild: mixad verklighet är resultatet av att blanda den fysiska världen med den digitala världen.