Gedeelde ervaringen in mixed reality
Hologrammen hoeven niet voor slechts één gebruiker privé te blijven. Holografische apps kunnen ruimtelijke ankers van het ene HoloLens-, iOS- of Android-apparaat naar het andere delen, zodat gebruikers een hologram kunnen weergeven op dezelfde plaats in de echte wereld op meerdere apparaten.
Zes vragen voor het definiëren van gedeelde scenario's
Voordat u begint met het ontwerpen voor gedeelde ervaringen, is het belangrijk om de doelscenario's te definiëren. Deze scenario's helpen verduidelijken wat u ontwerpt en een gemeenschappelijk vocabulaire tot stand te brengen om te helpen bij het vergelijken en contrasteren van functies die vereist zijn in uw ervaring. Inzicht in het kernprobleem en de verschillende oplossingen is essentieel om kansen te ontdekken die inherent zijn aan dit nieuwe medium.
Via interne prototypes en verkenningen van onze HoloLens-partnerbureaus hebben we zes vragen gemaakt om u te helpen bij het definiëren van gedeelde scenario's. Deze vragen vormen een framework, dat niet volledig is bedoeld, om de belangrijke kenmerken van uw scenario's te helpen destilleren.
1. Hoe delen ze?
Een presentatie kan worden geleid door één virtuele gebruiker, terwijl meerdere gebruikers kunnen samenwerken, of een docent kan richtlijnen geven aan virtuele studenten die met virtueel materiaal werken. De complexiteit van de ervaringen neemt toe op basis van het niveau van agentschap dat een gebruiker heeft of kan hebben in een scenario.
Er zijn veel manieren om te delen, maar we hebben vastgesteld dat de meeste ervan in drie categorieën kunnen worden onderverdeeld:
- Presentatie: wanneer dezelfde inhoud wordt weergegeven aan meerdere gebruikers. Bijvoorbeeld: Een professor geeft een lezing aan meerdere studenten met hetzelfde holografische materiaal dat aan iedereen wordt gepresenteerd. De professor kan echter zijn/haar eigen hints en notities hebben die mogelijk niet zichtbaar zijn voor anderen.
- Samenwerking: Wanneer mensen samenwerken om een aantal gemeenschappelijke doelen te bereiken. Bijvoorbeeld: De professor gaf een project om meer te leren over het uitvoeren van een hartoperatie. Studenten koppelen en creëren een gedeelde vaardighedenlabervaring, waarmee medische studenten kunnen samenwerken aan het hartmodel en leren.
- Richtlijnen: wanneer één persoon iemand helpt een probleem op te lossen in een meer een-op-een-stijlinteractie. Bijvoorbeeld: de professor die een student begeleiding geeft wanneer hij/zij het vaardighedenlab voor hartchirurgie doet in de gedeelde ervaring.
2. Wat is de groepsgrootte?
Een-op-een-ervaringen kunnen een sterke basislijn bieden en idealiter kunnen uw proofs of concept op dit niveau worden gemaakt. Maar houd er rekening mee dat delen met grote groepen (meer dan zes personen) kan leiden tot technische problemen (gegevens en netwerken) en sociale problemen (de impact van een ruimte met meerdere avatars). De complexiteit neemt exponentieel toe naarmate u van kleine naar grote groepen gaat.
We hebben vastgesteld dat de behoeften van groepen kunnen worden onderverdeeld in drie groottecategorieën:
- 1:1
- Klein < 7
- Groot >= 7
Groepsgrootte is een belangrijke vraag omdat deze van invloed is op:
- Representaties van mensen in holografische ruimte
- Schaal van objecten
- Schaal van omgeving
3. Waar is iedereen?
De kracht van mixed reality komt in het spel wanneer een gedeelde ervaring op dezelfde locatie kan plaatsvinden. We noemen dat colocated. Wanneer de groep daarentegen wordt gedistribueerd en ten minste één deelnemer zich niet in dezelfde fysieke ruimte bevindt (zoals vaak het geval is met VR), noemen we dat een externe ervaring. Vaak is het zo dat uw groep zowel dubbele als externe deelnemers heeft (bijvoorbeeld twee groepen in vergaderruimten).
De volgende categorieën helpen duidelijk te maken waar gebruikers zich bevinden:
- Colocated: al uw gebruikers bevinden zich in dezelfde fysieke ruimte.
- Extern: al uw gebruikers staan in afzonderlijke fysieke ruimten.
- Beide: uw gebruikers zijn een combinatie van colocated en externe ruimten.
Deze vraag is van cruciaal belang omdat het van invloed is op:
- Hoe mensen communiceren?
- Bijvoorbeeld: Of ze avatars moeten hebben?
- Welke objecten ze zien. Worden alle objecten gedeeld?
- Of we ons moeten aanpassen aan hun omgeving?
4. Wanneer delen ze?
We denken meestal aan synchrone ervaringen wanneer gedeelde ervaringen in gedachten komen: We doen het allemaal samen. Maar als we één virtueel element opnemen dat door iemand anders is toegevoegd, hebben we een asynchroon scenario. Stel dat een notitie of spraakmemo in een virtuele omgeving wordt achtergelaten. Hoe gaat u om met 100 virtuele memo's die nog in uw ontwerp staan? Wat als ze afkomstig zijn van tientallen mensen met verschillende niveaus van privacy?
Beschouw uw ervaringen als een van de volgende tijdscategorieën:
- Synchroon: de holografische ervaring tegelijkertijd delen. Bijvoorbeeld: Twee leerlingen/studenten die tegelijkertijd het vaardighedenlab uitvoeren.
- Asynchroon: de holografische ervaring op verschillende momenten delen. Bijvoorbeeld: Twee studenten die het vaardighedenlab doen, maar op verschillende momenten aan afzonderlijke secties werken.
- Beide: uw gebruikers delen soms synchroon, maar andere keren asynchroon. Bijvoorbeeld: een professor die de opdracht van de leerlingen/studenten op een later tijdstip beoordelen en notities achterlaat voor studenten voor de volgende dag.
Deze vraag is belangrijk omdat deze van invloed is op:
- Persistentie van objecten en omgevingen. Bijvoorbeeld: de statussen opslaan zodat ze kunnen worden opgehaald.
- Gebruikersperspectief. Bijvoorbeeld: misschien onthouden waar de gebruiker naar keek bij het achterlaten van notities.
5. Hoe vergelijkbaar zijn hun fysieke omgevingen?
De kans op twee identieke omgevingen in het echte leven, buiten de cocated ervaringen, is klein, tenzij deze omgevingen zijn ontworpen om identiek te zijn. De kans is groter dat u vergelijkbare omgevingen hebt. Vergaderruimten zijn bijvoorbeeld vergelijkbaar: ze hebben meestal een centraal gelegen tafel omgeven door stoelen. Woonkamers daarentegen zijn niet hetzelfde** en kunnen een willekeurig aantal meubelstukken bevatten in een oneindige reeks indelingen.
Uw ervaringen voor delen passen in een van deze twee categorieën:
- Vergelijkbaar: omgevingen met vergelijkbare meubels, omgevingslicht en geluid, fysieke ruimtegrootte. Bijvoorbeeld: professor bevindt zich in collegezaal A en studenten bevinden zich in collegezaal B. Collegezaal A heeft mogelijk minder stoelen dan B, maar ze hebben allebei een fysiek bureau om hologrammen op te plaatsen.
- Verschillende omgevingen: omgevingen die verschillen in meubelinstellingen, kamergrootten, licht en geluid. Bijvoorbeeld: Een professor bevindt zich in een focusruimte, maar studenten bevinden zich in een grote collegezaal, gevuld met studenten en docenten.
Het is belangrijk om na te denken over het milieu, omdat dit van invloed is op:
- Hoe mensen deze objecten ervaren. Bijvoorbeeld: als uw ervaring het beste werkt op een tabel en de gebruiker geen tabel heeft? Of op een vlakke vloer, maar de gebruiker heeft een rommelige ruimte.
- Schaal van de objecten. Bijvoorbeeld: Het plaatsen van een menselijk model van zes meter op een tafel kan lastig zijn, maar een hartmodel zou geweldig werken.
6. Welke apparaten gebruiken ze?
Tegenwoordig ziet u vaak gedeelde ervaringen tussen twee insluitende apparaten (deze apparaten kunnen enigszins verschillen voor knoppen en relatieve mogelijkheden, maar niet sterk) of twee holografische apparaten , gezien de oplossingen die op deze apparaten zijn gericht. Maar overweeg of 2D-apparaten (een mobiele/desktopdeelnemer of waarnemer) een noodzakelijke overweging zijn, met name in situaties met gemengde 2D- en 3D-apparaten. Het is belangrijk om inzicht te krijgen in de typen apparaten die uw deelnemers gaan gebruiken, niet alleen omdat ze verschillende beperkingen en mogelijkheden voor betrouwbaarheid en gegevens hebben, maar ook omdat gebruikers unieke verwachtingen hebben voor elk platform.
Het potentieel van gedeelde ervaringen verkennen
Antwoorden op de bovenstaande vragen kunnen worden gecombineerd om uw gedeelde scenario beter te begrijpen, waardoor de uitdagingen worden gekristalliseerd naarmate u de ervaring uitbreidt. Voor het team van Microsoft heeft dit geholpen bij het opstellen van een roadmap voor het verbeteren van de ervaringen die we nu gebruiken, waarbij de nuances van deze complexe problemen en hoe u kunt profiteren van gedeelde ervaringen in mixed reality.
Denk bijvoorbeeld aan een van de scenario's van Skype van de HoloLens-lancering: een gebruiker heeft met hulp van een op afstand gelegen expert gewerkt aan het repareren van een gebroken lichtschakelaar .
Een expert biedt 1:1-richtlijnen van zijn 2D-desktopcomputer aan een gebruiker van een 3D-apparaat met mixed reality . De richtlijnen zijn synchroon en de fysieke omgevingen zijn niet hetzelfde.
Een ervaring als deze is een stapsgewijze verandering ten opzichte van onze huidige ervaring: het paradigma van video en spraak toepassen op een nieuw medium. Maar als we naar de toekomst kijken, moeten we de mogelijkheden van onze scenario's beter definiëren en ervaringen bouwen die de kracht van mixed reality weerspiegelen.
Bekijk het Hulpprogramma voor samenwerking op Basis van OnSight, ontwikkeld door het Jet Propulsion Laboratory van NASA. Wetenschappers die werken aan gegevens van de Marsrover-missies kunnen in realtime samenwerken met collega's binnen de gegevens uit het Marslandschap.
Een wetenschapper verkent een omgeving met behulp van een 3D-apparaat met mixed reality met een kleine groep externe collega's die 3D- en 2D-apparaten gebruiken. De samenwerking is synchroon (maar kan asynchroon opnieuw worden bekeken) en de fysieke omgevingen zijn (vrijwel) vergelijkbaar.
Ervaringen zoals OnSight bieden nieuwe mogelijkheden om samen te werken. Van het fysiek aanwijzen van elementen in de virtuele omgeving tot het naast een collega staan en hun perspectief delen bij het uitleggen van hun bevindingen. OnSight gebruikt de lens van onderdompeling en aanwezigheid om het delen van ervaringen in mixed reality opnieuw te bekijken.
Intuïtieve samenwerking is de basis van gesprekken, samenwerken en begrijpen hoe we deze intuïtie kunnen toepassen op de complexiteit van mixed reality is van cruciaal belang. Als we gedeelde ervaringen niet alleen opnieuw kunnen creëren in mixed reality, maar deze kunnen verbeteren, wordt het een paradigmaverschuiving voor de toekomst van het werk. Ontwerpen voor gedeelde ervaringen in mixed reality is een nieuwe en spannende ruimte en we staan pas aan het begin.
Aan de slag met het bouwen van gedeelde ervaringen
Afhankelijk van uw toepassing en scenario zijn er verschillende vereisten om de gewenste ervaring te bereiken. Enkele hiervan zijn:
- Match-making: De mogelijkheid om sessies te maken, sessies te adverteren, specifieke personen te ontdekken en uit te nodigen, zowel lokaal als extern, om deel te nemen aan uw sessie.
- Anker delen: De mogelijkheid om coördinaten op meerdere apparaten in een gemeenschappelijke lokale ruimte uit te lijnen, zodat hologrammen op dezelfde plaats worden weergegeven voor alle personen.
- Netwerken: De mogelijkheid om posities, interacties en bewegingen van personen en hologrammen in realtime te laten synchroniseren tussen alle deelnemers.
- Statusopslag: de mogelijkheid om hologramkenmerken en -locaties op te slaan in de ruimte voor deelname tijdens de sessie, om op een later tijdstip terug te halen en robuustheid tegen netwerkproblemen.
De sleutel tot gedeelde ervaringen is dat meerdere gebruikers dezelfde hologrammen ter wereld op hun eigen apparaat zien, vaak gedaan door ankers te delen om coördinaten op verschillende apparaten uit te lijnen.
Als u ankers wilt delen, gebruikt u de Azure Spatial Anchors:
- Eerst plaatst de gebruiker het hologram.
- App maakt een ruimtelijk anker om dat hologram precies in de wereld vast te maken.
- De ankers kunnen worden gedeeld met HoloLens-, iOS- en Android-apparaten via Azure Spatial Anchors.
Met een gedeeld ruimtelijk anker heeft de app op elk apparaat nu een gemeenschappelijk coördinatensysteem waarin ze inhoud kunnen plaatsen. De app kan er nu voor zorgen dat het hologram op dezelfde locatie wordt geplaatst en georiënteerd.
Op HoloLens-apparaten kunt u ankers ook offline delen van het ene apparaat naar het andere. Gebruik de onderstaande koppelingen om te bepalen wat het beste is voor uw toepassing.
Technische opties evalueren
Er zijn verschillende service- en technologieopties beschikbaar om mixed reality-ervaringen voor meerdere gebruikers te bouwen. Het kan lastig zijn om een pad te kiezen, dus vanuit een scenariogericht perspectief worden enkele opties hieronder beschreven.
Gedeelde statische hologrammen (geen interacties)
Maak gebruik van Azure Spatial Anchors in uw app. Door ruimtelijke ankers op verschillende apparaten in te schakelen en te delen, kunt u een toepassing maken waarin gebruikers hologrammen op dezelfde plaats op hetzelfde moment zien. Aanvullende synchronisatie tussen apparaten is nodig om gebruikers in staat te stellen te communiceren met hologrammen en verplaatsingen of statusupdates van hologrammen te zien.
Eerste persoonsperspectief delen
Maak gebruik van ingebouwde Miracast-ondersteuning voor lokale gebruikers wanneer u een ondersteunde Miracast-ontvanger hebt, zoals een pc of tv. Er is geen aanvullende app-code nodig.
Samenwerkingservaring voor meerdere gebruikers
Begin met onze leerzelfstudie voor meerdere gebruikers, die gebruikmaakt van Azure Spatial Anchors voor lokale gebruikers en de Photon SDK voor het synchroniseren van de inhoud/status in de scène. Lokaal samenwerkende toepassingen maken waarbij elke gebruiker zijn/haar eigen perspectief heeft op de hologrammen in de scène en elke gebruiker volledig kan communiceren met de hologrammen. Updates worden aangeboden op alle apparaten en interactieconflictbeheer wordt afgehandeld door Photon.
Notitie
Houd er rekening mee dat Photon een niet-Microsoft-product is, dus er kan een factureringsrelatie met Photon nodig zijn om te kunnen worden aangepast en geschaald voor een hoger gebruik.
Toekomstig werk
De mogelijkheden en interfaces van onderdelen helpen bij het bieden van algemene consistentie en robuuste ondersteuning voor de verschillende scenario's en onderliggende technologieën. Tot die tijd kiest u het beste pad dat overeenkomt met het scenario dat u probeert te bereiken in uw toepassing.
Een ander scenario of een andere wens om een andere technologie/service te gebruiken? Geef feedback als GitHub-problemen in de bijbehorende opslagplaats, onderaan deze pagina, of neem contact op met HoloDevelopers Slack.