Wat is Mixed Reality?

Invoer en waarneming van de omgeving

In de afgelopen decennia is de relatie tussen mensen en computers zich blijven ontwikkelen met invoermethoden. Er is een nieuwe discipline ontstaan, die bekend staat als interactie tussen menselijke computers of HCI. Menselijke invoer kan nu toetsenborden, muis, aanraking, inkt, spraak en Kinect bijhouden.

Verbeteringen in sensoren en verwerkingskracht creëren nieuwe computerbelevingen van omgevingen op basis van geavanceerde invoermethoden. Daarom worden API-namen in Windows die omgevingsinformatie onthullen, de perception-API's genoemd. De omgevingsinvoer kan het volgende vastleggen:

• de hoofdpositie van een persoon in de fysieke wereld(hoofdtracking)
• objecten, oppervlakken en grenzen ( ruimtelijketoewijzing enscène-inzicht)
• omgevingslicht en geluid
• objectherkenning
• fysieke locaties

Afbeelding: De interacties tussen computers, mensen en omgevingen.

Een combinatie van de drie essentiële elementen bepaalt de fase voor het maken van echte Mixed Reality ervaring:

• Computerverwerking powered by de cloud
• Geavanceerde invoermethoden
• Omgevingsbeleving

Terwijl we ons door de fysieke wereld bewegen, worden onze verplaatsingen in een digitale realiteit in kaart gebracht. Fysieke grenzen beïnvloeden mixed reality ervaringen in de digitale wereld, zoals games of richtlijnen op basis van taken in een productiefaciliteit. Met omgevingsinvoer en waarnemingen beginnen ervaringen te combineren tussen fysieke en digitale schade.

Het Mixed Reality spectrum

Mixed Reality combineert zowel fysieke als digitale wereld. Deze twee gebieden markeren de polaire uiteinden van een spectrum dat het virtualiteitscontinuum wordt genoemd. We verwijzen naar dit spectrum van realiteit als het Mixed Reality spectrum. Aan het einde van het spectrum hebben we de fysieke realiteit die wij als mensen bestaan. Aan het andere uiteinde van het spectrum hebben we de bijbehorende digitale realiteit.

Uitgebreide versus virtual reality

De meeste mobiele telefoons op de markt hebben momenteel weinig tot geen mogelijkheden voor de waarneming van de omgeving. De ervaringen die deze telefoons bieden, kunnen fysieke en digitale realiteit niet combineren.

De ervaringen die grafische weergaven, videostreams of hologrammen in de fysieke wereld overlayen, worden augmented reality. De ervaringen die uw weergave insluiten om een volledig in immersieve digitale ervaring te presenteren, zijn virtual reality. De ervaringen die kunnen worden overstappen tussen uitgebreide en virtuele realiteitsvorm Mixed Reality, waar u het volgende kunt doen:

• Plaats een digitaal object, zoals een hologram, in de fysieke wereld alsof het fysiek aanwezig is.
• Wees persoonlijk en digitaal aanwezig in de fysieke wereld, in de vorm van een avatar, om asynchroon samen te werken met anderen op verschillende tijdspunten.
• In virtual reality worden fysieke grenzen, zoals muren en stenen, digitaal weergegeven binnen de ervaring voor gebruikers om te voorkomen dat ze te maken krijgen met fysieke obstakels.

Afbeelding: Het Mixed Reality spectrum

De augmented reality en virtual reality-ervaringen die momenteel beschikbaar zijn, vertegenwoordigen een kleine subset van het grotere Mixed Reality spectrum. Windows 10 is gebouwd met het hele spectrum in gedachten en maakt het mogelijk digitale representaties van mensen, plaatsen en dingen te combineren met de echte wereld.

Apparaten en ervaringen

Er zijn twee hoofdtypen apparaten die een Windows Mixed Reality bieden:

1. Holographic-apparaten worden gekenmerkt door de mogelijkheid van het apparaat om digitale inhoud in de echte wereld te plaatsen alsof het er al is.
2. In immersieve VR-apparaten worden gekenmerkt door de mogelijkheid van het apparaat om een idee van aanwezigheid te creëren door de fysieke wereld te blokkeren en te vervangen door een volledig in immersieve digitale ervaring.

Kenmerk	Holographic-apparaten	In immersieve apparaten
Voorbeeldapparaat	Microsoft HoloLens	Samsung HMD( HMD+
Weergave	Weergave met doorse weergave. Hiermee kan de gebruiker de fysieke omgeving zien tijdens het dragen van de headset.	Ondoorzichtige weergave. Blokkeert de fysieke omgeving tijdens het dragen van de headset.
Verplaatsing	Volledige beweging van zes graden vrijheid, zowel rotatie als vertaling.	Volledige beweging van zes graden vrijheid, zowel rotatie als vertaling.

Mixed Reality ervaringen zijn het resultaat van technologische vooruitgang. Er zijn momenteel geen apparaten die ervaringen kunnen uitvoeren in het hele spectrum. Windows 10 biedt een gemeenschappelijk Mixed Reality platform voor zowel apparaatfabrikanten als ontwikkelaars. Elk apparaat dat tegenwoordig wordt gebruikt, kan een specifiek bereik binnen het Mixed Reality ondersteunen. In de toekomst worden nieuwe apparaten met een uitgebreider bereik verwacht: holographic devices will be more immersive, and immersive devices will be more holographic.

Afbeelding: Waar apparaten aanwezig zijn in het Mixed Reality spectrum

Welk type ervaring wilt u als toepassings- of gameontwikkelaar maken? De ervaringen zijn doorgaans gericht op een specifiek punt of een deel van het spectrum. U moet rekening houden met de mogelijkheden van apparaten die u kunt gebruiken. Ervaringen die afhankelijk zijn van de fysieke wereld, kunnen het beste worden uitgevoerd op HoloLens.

• Naar links (bijna fysieke realiteit). Gebruikers blijven aanwezig in hun fysieke realiteit en worden niet gedaan om te denken dat ze die realiteit hebben verlaten.
• In het midden (volledig Mixed Reality). Deze ervaringen combineren de echte wereld en de digitale wereld. In de film Jumanjiis bijvoorbeeld de fysieke structuur van het huis waar het verhaal plaatsvond, gemengd met een omgeving met een huis.
• Naar rechts (bijna digitale realiteit). Gebruikers ervaren een digitale realiteit en zijn zich niet bewust van de fysieke realiteit om hen heen.

Volgende controlepunt voor detectie

U begint aan het detectietraject dat we voor u hebben gemaakt en verkent de basisbeginselen van Mixed Reality. Hier kunt u doorgaan met het volgende basisonderwerp:

Mixed reality is de volgende golf in computing, gevolgd door mainframes, pc's en smartphones. Mixed reality wordt steeds gangbarer voor consumenten en bedrijven. Het maakt ons af van schermgebonden ervaringen, door het aanbieden van een schermafbeelding van interacties met gegevens in onze ruimten, tussen onze dingen en met onze vrienden. Onlineverkenners, in honderden miljoenen mensen over de hele wereld, hebben mixed reality via hun eigen apparaten. Mobile AR biedt momenteel de meest mixed reality oplossingen op sociale media. Mensen realiseren zich misschien niet eens dat de AR-filters die ze gebruiken op Mixed Reality zijn. Microsoft Mixed Reality is om al deze gebruikerservaringen naar een hoger niveau te tillen met een combinatie van echt prachtige holografische weergaven van mensen, hoogwaardige 3D-modellen voor holografische gegevens en de echte wereld om hen heen.

Mixed Reality is een combinatie van fysieke en digitale werelden, met natuurlijke en intuïtieve 3D-interacties tussen mensen, computers en omgevingen. Deze nieuwe realiteit is gebaseerd op de vooruitgang in Computer Vision, grafische verwerking, weergavetechnologieën, invoersystemen en cloud-computing. De term Mixed Reality werd geïntroduceerd in een artikel uit 1994 van Paul Milgram en Fumio Kishino,'A Taxonomy of Mixed Reality Visual Displays'. In hun document is het concept van een virtualiteitscontinuüm en de taxonomie van visuele weergaven verkend. Sindsdien bevat de toepassing van Mixed Reality meer dan alleen de volgende weergaven:

• Begrip van de omgeving: ruimtelijke toewijzing en ankers.
• Menselijk inzicht: handtracking, oogregistratie en spraakinvoer.
• Ruimtelijk geluid.
• Locaties en plaatsing in zowel fysieke als virtuele ruimten.
• Samenwerking op 3D-assets in mixed reality ruimten.

Afbeelding: Mixed Reality is het resultaat van het combineren van de fysieke wereld met de digitale wereld.