Gedeelde ervaringen in mixed reality

Hologrammen hoeft niet privé te blijven voor slechts één gebruiker. Holographic-apps kunnen ruimtelijke ankers van het ene HoloLens-, iOS- of Android-apparaat met een ander apparaat delen, zodat gebruikers een hologram op dezelfde plaats in de echte wereld op meerdere apparaten kunnen renderen.

Zes vragen voor het definiëren van gedeelde scenario's

Voordat u begint met het ontwerpen voor gedeelde ervaringen, is het belangrijk om de doelscenario's te definiëren. Deze scenario's helpen te verduidelijken wat u ontwerpt en een gemeenschappelijke woordenlijst tot stand te brengen om de functies te vergelijken en te contrasteren die vereist zijn in uw ervaring. Inzicht in het kernprobleem en de verschillende mogelijkheden voor oplossingen is essentieel voor het blootleggen van kansen die inherent zijn aan dit nieuwe medium.

Via interne prototypen en verkenningen van onze HoloLens partnerinstanties hebben we zes vragen gemaakt om u te helpen bij het definiëren van gedeelde scenario's. Deze vragen vormen een framework, niet bedoeld om uitputtend te zijn, om de belangrijke kenmerken van uw scenario's uit te werken.

1. Hoe delen ze?

Een presentatie kan worden geleid door één virtuele gebruiker, terwijl meerdere gebruikers kunnen samenwerken, of een docent kan hulp bieden aan virtuele studenten die met virtuele materialen werken. De complexiteit van de ervaringen neemt toe op basis van het niveau van de instantie die een gebruiker heeft of kan hebben in een scenario.

Man en vrouwen met holografische op tabel

Er zijn veel manieren om te delen, maar we hebben geconstateerd dat de meeste ervan in drie categorieën vallen:

  • Presentatie: wanneer dezelfde inhoud wordt weergegeven aan verschillende gebruikers. Bijvoorbeeld: Een docent geeft een les aan verschillende studenten met behulp van hetzelfde holografische materiaal dat aan iedereen wordt gepresenteerd. De docent kan echter zijn/haar eigen hints en opmerkingen hebben die mogelijk niet zichtbaar zijn voor anderen.
  • Samenwerking: wanneer mensen samenwerken om enkele algemene doelstellingen te bereiken. Bijvoorbeeld: de docent heeft een project gegeven om meer te weten te komen over het uitvoeren van een hartoperatie. Studenten koppelen en creëren een gedeelde ervaring voor het vaardighedenlab, waarmee medische studenten kunnen samenwerken aan het hartmodel en kunnen leren.
  • Richtlijnen: wanneer één persoon iemand helpt een probleem op te lossen in een meer een-op-een-stijlinteractie. Bijvoorbeeld: de docent geeft een student richtlijnen wanneer hij/zij het skills lab voor hartvaardigheden doet in de gedeelde ervaring.

2. Wat is de groepsgrootte?

Een-op-een-ervaringen voor delen kunnen een sterke basislijn bieden en in het ideale moment kunt u uw concept op dit niveau maken. Maar let op: delen met grote groepen (meer dan zes personen) kan leiden tot problemen, zowel technisch (gegevens en netwerken) als sociaal (de impact van het zijn in een ruimte met verschillende avatars). De complexiteit neemt exponentieel toe naarmate u van kleine naar grote groepen gaat.

We hebben geconstateerd dat de behoeften van groepen kunnen worden onderverdeeld in drie groottecategorieën:

  • 1:1
  • Kleine < 7
  • Grote >= 7

Groepsgrootte is een belangrijke vraag omdat deze van invloed is op:

  • Representaties van personen in een holografische ruimte
  • Schaal van objecten
  • Schaal van de omgeving

3. Waar is iedereen?

De kracht van mixed reality komt in het spel wanneer een gedeelde ervaring op dezelfde locatie kan plaatsvinden. We noemen dat colocatie. Wanneer de groep daarentegen wordt gedistribueerd en ten minste één deelnemer zich niet in dezelfde fysieke ruimte (zoals vaak het geval is bij VR), noemen we dat een externe ervaring. Vaak heeft uw groep zowel co-locatie als externe deelnemers (bijvoorbeeld twee groepen in vergaderruimten).

Drie personen met holografische op tabel

De volgende categorieën geven aan waar gebruikers zich bevinden:

  • Co-locatie: al uw gebruikers zullen zich in dezelfde fysieke ruimte.
  • Extern: al uw gebruikers staan in afzonderlijke fysieke ruimten.
  • Beide: uw gebruikers zijn een combinatie van co-locatie en externe ruimten.

Deze vraag is van cruciaal belang omdat deze van invloed is op:

  • Hoe communiceren mensen?
    • Bijvoorbeeld: Of ze avatars moeten hebben?
  • Welke objecten ze zien. Worden alle objecten gedeeld?
  • Of we ons moeten aanpassen aan hun omgeving?

4. Wanneer delen ze?

We denken meestal aan synchrone ervaringen wanneer we gedeelde ervaringen in ons achterhoofd krijgen: We doen het allemaal samen. Maar als we één virtueel element opnemen dat door iemand anders is toegevoegd, hebben we een asynchroon scenario. Imagine opmerking, of spraakmemo, in een virtuele omgeving. Hoe verwerkt u nog 100 virtuele notities voor uw ontwerp? Wat gebeurt er als ze afkomstig zijn van tientallen mensen met verschillende privacyniveaus?

U kunt uw ervaringen beschouwen als een van deze tijdcategorieën:

  • Synchroon: de holografische ervaring op hetzelfde moment delen. Bijvoorbeeld: twee studenten die het vaardighedenlab op hetzelfde moment doen.
  • Asynchroon: de holografische ervaring op verschillende tijdstippen delen. Bijvoorbeeld: twee studenten die het vaardighedenlab doen, maar op verschillende tijdstippen aan afzonderlijke secties werken.
  • Beide: uw gebruikers delen soms synchroon, maar andere keren asynchroon. Bijvoorbeeld: een docent die de toewijzing die de studenten op een later tijdstip hebben gedaan, heeft gradaties gegeven en notities voor studenten voor de volgende dag maakt.

Deze vraag is belangrijk omdat deze van invloed is op:

  • Object- en omgevingspersistence. Bijvoorbeeld: de staten opslaan zodat ze kunnen worden opgehaald.
  • Gebruikersperspectief. Bijvoorbeeld: misschien weet u nog wat de gebruiker moest zien bij het maken van notities.

5. Hoe vergelijkbaar zijn hun fysieke omgevingen?

De kans op twee identieke omgevingen in de echte wereld, buiten de co-locatie, is klein, tenzij deze omgevingen zijn ontworpen om identiek te zijn. De kans is groter dat u vergelijkbare omgevingen hebt. Vergaderruimten zijn bijvoorbeeld vergelijkbaar: ze hebben meestal een centraal geplaatste tabel tussen de gebouwen. Huisruimten daarentegen zijn niet hetzelfde** en kunnen een onbeperkt aantal stuks kleding bevatten in een oneindige matrix van lay-outs.

Holografische op tabel

Denk na over uw ervaringen met delen die in een van deze twee categorieën passen:

  • Vergelijkbaar: omgevingen met vergelijkbaar geluid, licht en geluid, fysieke ruimtegrootte. Bijvoorbeeld: Professor is in de lesruimte A en studenten zijn in de lesruimte B. De docent in A heeft mogelijk minder thee dan B, maar ze hebben beide een fysiek bureau om hologrammen op te plaatsen.
  • Ongelijksoortige: omgevingen die verschillend zijn in de instellingen voor de inrichting van het geluid, de afmetingen van de ruimte, het licht en het geluid. Bijvoorbeeld: Een docent is in een focusruimte, maar studenten zitten in een grote zalen, vol studenten en docenten.

Het is belangrijk om na te denken over de omgeving,omdat deze van invloed is op:

  • Hoe mensen deze objecten ervaren. Bijvoorbeeld: als uw ervaring het beste werkt voor een tabel en de gebruiker geen tabel heeft? Of op een plat vloeroppervlak, maar de gebruiker heeft een rommelige ruimte.
  • Schaal van de objecten. Bijvoorbeeld: Het kan lastig zijn om een menselijk model van zes meter in een tabel te plaatsen, maar een hartmodel zou goed werken.

6. Welke apparaten gebruiken ze?

Tegenwoordig ziet u vaak gedeelde ervaringen tussen twee in immersieve apparaten (deze apparaten kunnen enigszins verschillen voor knoppen en relatieve mogelijkheden, maar niet aanzienlijk) of twee holografische apparaten, gezien de oplossingen die op deze apparaten zijn gericht. Maar overweeg of 2D-apparaten (een deelnemer van mobiel/desktop of waarnemer) een noodzakelijke overweging zijn, met name in situaties met gemengde 2D- en 3D-apparaten. Inzicht in de typen apparaten die uw deelnemers gaan gebruiken, is belangrijk, niet alleen omdat ze verschillende betrouwbaarheids- en gegevensbeperkingen en -kansen hebben, maar ook omdat gebruikers unieke verwachtingen hebben voor elk platform.

Het potentieel van gedeelde ervaringen verkennen

Antwoorden op de bovenstaande vragen kunnen worden gecombineerd om een beter inzicht te krijgen in uw gedeelde scenario, waarbij de uitdagingen worden vergroot naarmate u de ervaring uitbreidt. Voor het team van Microsoft heeft dit bijgedragen aan een routekaart voor het verbeteren van de ervaringen die we momenteel gebruiken, inzicht in de nuance van deze complexe problemen en hoe u kunt profiteren van gedeelde ervaringen in mixed reality.

Neem bijvoorbeeld een van de scenario's van Skype vanaf de HoloLens-lancering: een gebruiker heeft gewerkt aan het herstellen van een defecte lichtschakelaar met behulp van een expert op afstand.

Een lichte switch herstellen met hulp via Skype voor HoloLens

Een expert geeft 1:1 richtlijnen van zijn 2D, desktopcomputer aan een gebruiker van een 3D, mixed-reality-apparaat. De richtlijnen zijn synchroon en de fysieke omgevingen verschillen van elkaar.

Een ervaring zoals deze is een wijziging in onze huidige ervaring, het toepassen van het paradigma van video en spraak op een nieuw medium. Maar als we naar de toekomst kijken, moeten we de kans van onze scenario's beter definiëren en ervaringen bouwen die de kracht van de mixed reality.

Denk aan het OnSight-samenwerkingshulpprogramma, dat is ontwikkeld door Jet Laboratory van NASA. Wetenschappers die aan gegevens van de Mars Rover-missies werken, kunnen in realtime samenwerken met collega's binnen de gegevens van het Mars-landschap.

Samenwerken tussen collega's die op afstand zijn gescheiden om werkzaamheden voor de Mars Rover te plannen

Een wetenschappers verkent een omgeving met behulp van een 3D-apparaat met mixed reality met een kleine groep externe collega's die 3D- en 2D-apparaten gebruiken. De samenwerking is synchroon (maar kan asynchroon opnieuw worden bezocht) en de fysieke omgevingen zijn (vrijwel) vergelijkbaar.

Ervaringen zoals OnSight bieden nieuwe mogelijkheden om samen te werken. Van het fysiek aanwijzen van elementen in de virtuele omgeving tot het naast een collega staan en hun perspectief delen terwijl ze hun bevindingen uitleggen. OnSight maakt gebruik van de lens van onderdompeling en aanwezigheid om het delen van ervaringen in de mixed reality.

Intuïtieve samenwerking is de basis van een gesprek, samenwerken en begrijpen hoe we deze intuïtief kunnen toepassen op de complexiteit van mixed reality is van cruciaal belang. Als we niet alleen deelervaringen in een mixed reality opnieuw kunnen maken, maar ze ook kunnen indelen, is het een paradigmaverschuiving voor de toekomst van het werk. Ontwerpen voor gedeelde ervaringen in mixed reality is een nieuwe en interessante ruimte, en we staan alleen aan het begin.

Aan de slag met het bouwen van gedeelde ervaringen

Afhankelijk van uw toepassing en scenario zijn er verschillende vereisten om de gewenste ervaring te bereiken. Enkele hiervan zijn:

  • Match-making: de mogelijkheid om sessies te maken, sessies te adverteren, specifieke personen te ontdekken en uit te nodigen, zowel lokaal als extern om deel te nemen aan uw sessie.
  • Delen van ankers: de mogelijkheid om coördinaten uit te lijnen op meerdere apparaten in een gemeenschappelijke lokale ruimte, zodat hologrammen voor alle mensen op dezelfde plaats worden weergegeven.
  • Netwerken: de mogelijkheid om posities, interacties en verplaatsingen van personen en hologrammen in realtime te synchroniseren tussen alle deelnemers.
  • Statusopslag: de mogelijkheid om hologramkenmerken en locaties op te slaan in de ruimte voor het midden van de sessie, terughalen op een later tijdstip en robuustheid tegen netwerkproblemen.

De sleutel tot gedeelde ervaringen is dat meerdere gebruikers dezelfde hologrammen ter wereld op hun eigen apparaat zien. Dit wordt vaak gedaan door ankers te delen om coördinaten op verschillende apparaten uit te lijnen.

Als u ankers wilt delen, gebruikt u de Azure Spatial Anchors:

  • Eerst plaatst de gebruiker het hologram.
  • App maakt een ruimtelijk anker omdat hologram exact in de wereld vast te maken.
  • De ankers kunnen worden gedeeld met HoloLens-, iOS- en Android-apparaten via Azure Spatial Anchors.

Met een gedeeld ruimtelijk anker heeft de app op elk apparaat nu een gemeenschappelijk coördinatensysteem waarin ze inhoud kunnen plaatsen. De app kan er nu voor zorgen dat het hologram op dezelfde locatie wordt positie en oriënteert.

Op HoloLens apparaten kunt u ankers ook offline van het ene apparaat naar het andere delen. Gebruik de onderstaande koppelingen om te bepalen wat het beste is voor uw toepassing.

Technische opties evalueren

Er zijn verschillende service- en technologieopties beschikbaar om te helpen bij het bouwen van mixed reality gebruikerservaring. Het kan lastig zijn om een pad te kiezen, dus met een scenariogericht perspectief worden enkele opties hieronder beschreven.

Gedeelde statische hologrammen (geen interacties)

Maak gebruik van Azure Spatial Anchors in uw app. Door ruimtelijk ankers in te stellen en te delen op verschillende apparaten, kunt u een toepassing maken waarin gebruikers hologrammen op hetzelfde moment op dezelfde plaats zien. Er is extra synchronisatie tussen apparaten nodig om gebruikers in staat te stellen te communiceren met hologrammen en om verplaatsingen of statusupdates van hologrammen te zien.

Perspectief van eerste persoon delen

Maak gebruik van ingebouwde Miracast-ondersteuning voor lokale gebruikers wanneer u een ondersteunde Miracast-ontvanger hebt, zoals een pc of tv. Er is geen aanvullende app-code nodig.

Maak gebruik van MixedReality-WebRTC in uw app, voor externe gebruikers of wanneer u niet-Miracast apparaten hebt waarmee u wilt delen. Als u een WebRTC-verbinding inschakelen, kunt u 1:1 audio-/videostreams tussen gebruikers inschakelen, met een gegevenskanaal voor berichten op verschillende apparaten. De mixed reality-implementatie is geoptimaliseerd voor HoloLens, door anderen een mixed reality videostream van de weergave van de HoloLens te bieden. Als u videostreaming wilt opschalen naar meerdere externe clients, wordt doorgaans een MCU-serviceprovider (Multipoint Conferencing Unit) gebruikt, zoals SignalWire. Een SignalWire-implementatie met één klik in Azure is beschikbaar via Freeswitch.

Notitie

Houd er rekening mee dat SignalWire een betaalde service is en geen eigendom is van/is gelieerd aan Microsoft.

Presenter-Spectator toepassingen en demo's

Maak gebruik van MixedReality-MixedView om de functionaliteit van de weergave in uw app te gebruiken. Andere apparaten (HL-, Android-, iOS- en videocamera's) inschakelen om te zien wat de HoloLens vanuit een ander perspectief op dezelfde locatie ziet, en updates ontvangen over interacties van de host-HoloLens-gebruiker die met de hologrammen communiceert. Bekijk, maak foto's en neem video's op van wat de host doet met de hologrammen in de toepassing vanuit uw eigen ruimtelijke perspectief met de begeleiding van dezelfde app.

Opmerking: Foto's worden gemaakt via een schermopname op iOS-/Android-apparaten.

Samenwerkingservaring voor meerdere gebruikers

Begin met onze zelfstudie voor meer gebruikers, waarin gebruik wordt gemaakt van Azure Spatial Anchors voor lokale gebruikers en photon-SDK voor het synchroniseren van de inhoud/status in de scène. Lokaal samenwerkende toepassingen maken waarbij elke gebruiker zijn/haar eigen perspectief op de hologrammen in de scène heeft en elk volledig kan communiceren met de hologrammen. Updates worden op alle apparaten geleverd en het beheer van interactieconflicten wordt afgehandeld door Photon.

Notitie

Houd er rekening mee dat Photon een niet-Microsoft-product is, dus mogelijk is een factureringsrelatie met Photon vereist om te productiseren en te schalen voor een hoger gebruik.

Toekomstig werk

Onderdeelmogelijkheden en interfaces helpen bij het bieden van algemene consistentie en robuuste ondersteuning voor de verschillende scenario's en onderliggende technologieën. Kies tot die tijd het beste pad dat is afgestemd op het scenario dat u in uw toepassing wilt bereiken.

Ander scenario of de wens om een andere tech/service te gebruiken? Geef feedback als GitHub problemen in de bijbehorende repo, onder aan deze pagina, of contact op met HoloDevelopers Slack.

Zie ook