Megosztott élmények vegyes valóságban

Hologramok nem kell egyetlen felhasználóval privátnak maradnia. A holografikus alkalmazások megoszthatnak térbeli horgonyokat az egyik HoloLens-, iOS- vagy Android-eszközről egy másikra, így a felhasználók a való világ ugyanazon helyén renderelhetnek egy hologramot több eszközön.

Hat kérdés a megosztott forgatókönyvek meghatározásához

A megosztott élmények tervezésének megkezdése előtt fontos meghatározni a célforgatókönyveket. Ezek a forgatókönyvek segítenek tisztázni, hogy mit tervez, és közös szókincset hoz létre, amely segít összehasonlítani és összevetni a felhasználói élményben szükséges funkciókat. Az alapvető probléma és a megoldások különböző lehetőségeinek megértése kulcsfontosságú az új adathordozón rejlő lehetőségek feltárásában.

A partner ügynökségeink belső prototípusai és HoloLens segítségével hat kérdést hoztunk létre a közös forgatókönyvek meghatározásához. Ezek a kérdések nem teljes keretrendszert alkotnak, amely segít leszűrni a forgatókönyvek fontos jellemzőit.

1. Hogyan osztják meg a megosztást?

A bemutatót egyetlen virtuális felhasználó, míg több felhasználó működhet együtt, vagy egy tanár útmutatást nyújthat a virtuális anyagokat használó virtuális diákoknak – az élmények összetettsége az adott helyzetben a felhasználó által birtokolt vagy birtokolt ügynökségtől függően nő.

Férfiak és nők holografikus táblán

Többféleképpen is megosztható, de úgy találtuk, hogy ezek nagy része három kategóriába sorolható:

  • Bemutató:Ha több felhasználó is ugyanazt a tartalmat mutatja. Például: Egy tanár több diáknak ad ki egy előadást, ugyanazt a holografikus anyagot használva, amit mindenki számára bemutat. A tanárnak azonban lehetnek saját tippjei és megjegyzései, amelyek mások számára nem láthatók.
  • Együttműködés:Amikor az emberek együtt dolgoznak a közös célok elérése érdekében. Például: A tanár olyan projektet adott ki, amely a szívműveleteket tanulja meg. A diákok párosítással létrehoznak egy közös készséglabor-élményt, amely lehetővé teszi, hogy az orvosok együttműködjön a szívmodellen, és tanuljanak.
  • Útmutató:Ha egy személy segít megoldani egy problémát egy több-az-egyhez típusú interakcióban. Például: A tanár útmutatást ad egy tanulónak, amikor a szívvel kapcsolatos készségekkel kapcsolatos labort dolgozik a közös élményben.

2. Mekkora a csoport mérete?

Az egy-az-egyhez megosztási élmény erős alapkonfigurációt biztosít, és ideális esetben ezen a szinten is létre lehet hozva a koncepció igazolása. Ne feledje azonban, hogy a nagy csoportokkal való megosztás (haton túl) műszaki (adat- és hálózatépítési) és közösségi nehézségekhez vezethet (a több avatart is megosztó teremben). Az összetettség exponenciálisan növekszik, ahogy kis csoportokról nagycsoportokra kerül.

Azt találtuk, hogy a csoportok igényei három méretkategóriába sorolhatók:

  • 1:1
  • Kicsi < 7
  • Nagy > = 7

A csoportméret miatt fontos kérdés, mert az a következő tényezőkre van hatással:

  • Személyek ábrázolása a holografikus térben
  • Objektumok skálája
  • A környezet skálája

3. Hol van mindenki?

A vegyes valóság erőssége akkor játszik szerepet, ha egy megosztott élmény ugyanazon a helyen történik. Ezt locatáltnak hívjuk. Ezzel szemben, ha a csoport el van osztva, és legalább egy résztvevő nem ugyanabban a fizikai térben van (mint a VR esetében gyakran), ezt távoli élménynek hívjuk. Gyakran előfordul, hogy a csoport közös és távoli résztvevőkkel is rendelkezik (például két csoport a konferenciatermekben).

Három holografikus ember a táblán

Az alábbi kategóriák segítik a felhasználók helyének közvetítését:

  • Közös térben:Minden felhasználó ugyanabban a fizikai térben lesz.
  • Távoli:Minden felhasználó külön fizikai térben lesz.
  • Mindkettő:A felhasználók vegyesen lesznek elhasználva és távoli helyeken.

Ez a kérdés azért lényeges, mert a következő tényezőkre van hatással:

  • Hogyan kommunikálnak az emberek?
    • Például: Van-e nekik avatarja?
  • Milyen objektumokat látnak. Minden objektum meg van osztva?
  • Szükség van-e a környezetüknek való alkalmazkodásra?

4. Mikor oszt meg valamit?

Általában szinkron élményekre gondolunk, amikor a megosztott élmények jutnak az agyunkra: Ezt együtt juk meg. Ha azonban egyetlen virtuális elemet is hozzáadunk, amelyet valaki más adott hozzá, akkor aszinkron forgatókönyvünk van. Imagine egy jegyzetet vagy hang emlékeztetőt, amely egy virtuális környezetben maradt. Hogyan kezelünk 100, a terven maradt virtuális emlékeztetőt? Mi a helyzet akkor, ha több tucat különböző adatvédelmi szintű embertől vannak?

A tapasztalatait az alábbi időkategóriák egyikeként vegye figyelembe:

  • Szinkron módon:A holografikus élmény megosztása egyszerre. Például: Két diák, akik egyszerre edik a készséglabort.
  • Aszinkron módon:A holografikus élmény megosztása különböző időpontokban. Például: Két diák dolgozik a készséglaborban, de különböző szakaszokon dolgoznak különböző időpontokban.
  • Mindkettő:A felhasználók néha szinkron módon, máskor pedig aszinkron módon fognak osztozni. Például: Egy tanár, aki későbbre osztályozhatja a diákok feladatait, és jegyzeteket hagy a diákoknak a következő napra.

Ez a kérdés azért fontos, mert befolyásolja a következő tényezőket:

  • Objektum- és környezetmegőrzés. Például: Tárolja az államokat, hogy lekérhetők legyen.
  • Felhasználói perspektíva. Például: Talán emlékszik arra, hogy mit figyelt meg a felhasználó a jegyzetek elhagyásakor.

5. Mennyire hasonlóak a fizikai környezeteik?

Két azonos, a közös használatú élményen kívüli valós környezet valószínűsége, kivéve, ha ezek a környezetek azonosak. Nagyobb valószínűséggel lesz hasonló környezete. A konferenciatermek például hasonlóak – általában egy központi helyen található táblával vannak körülvéve. A élő helyiségek azonban különbözőek** és korlátlan számú berendezést tartalmazhatnak végtelen elrendezésekben.

Hol hologram a táblán

Vegye figyelembe, hogy a megosztási élmények a következő két kategória valamelyikébe illeszkednek:

  • Hasonló:Olyan környezetek, amelyek általában hasonló berendezésekkel, környezeti fényekkel és hangokkal, fizikai helyiségmérettel rendelkeznek. Például: Professzor az A előadóteremben, és a diákok a B előadóteremben vannak. Az A előadóteremnek lehet, hogy kevesebb a tanára, mint B-nek, de lehet, hogy mindkettőnek van fizikai asztala, ahol hologramokat lehet helyezzen el.
  • Eltérő: Olyan környezetek,amelyek eltérőek a berendezési beállításokban, a helyiségméretekben, a fény- és a hangbeállításokban. Például: Egy tanár a fókuszteremben van, de a diákok egy nagy előadóteremben vannak, ahol sok diák és tanár van.

Fontos a környezetre gondolni,mivel az hatással lesz a következőre:

  • Hogyan fogják tapasztalni az emberek ezeket az objektumokat. Például: Ha a felhasználói élmény egy táblán működik a legjobban, és a felhasználónak nincs táblája? Vagy egy sima alapfelületen, de a felhasználónak zsúfolt a felülete.
  • Az objektumok skálája. Például: Egy 6 láb hosszú emberi modell elhelyezése egy táblán kihívást jelenthet, de a szívmodell remekül működne.

6. Milyen eszközöket használ?

Napjainkban gyakran előfordul, hogy két modern eszköz (ezek némileg eltérhetnek a gomboktól és a relatív képességektől, de nem nagy mértékben) vagy két holografikus eszköz között, tekintettel arra, hogy ezek a megoldások ezekre az eszközökre irányulnak. Azonban fontolja meg, hogy a 2D-eszközök (mobil-/asztali résztvevők vagy megfigyelők) megfontolhatóak-e, különösen vegyes 2D és 3Deszközök esetén. Fontos megérteni, hogy a résztvevők milyen típusú eszközöket fognak használni, nem csupán azért, mert különböző hűséget és adatkorlátozásokat, valamint lehetőségeket tartalmaznak, hanem azért is, mert a felhasználóknak egyedi elvárásaik vannak az egyes platformokhoz.

A megosztott élmények lehetőségeinek feltárása

A fenti kérdésekre adott válaszok kombinálhatók, hogy jobban megértsük a megosztott forgatókönyvet, és a felhasználói élmény bővítése során még jobban megértsük a kihívásokat. A Microsoft csapata számára ez segített a ma használt élmények javítására, az összetett problémák árnyaltságának megértésében, valamint a vegyes valóságban megosztott élmények előnyeinek kihasználása érdekében.

Vegyük például a Skype HoloLens-indítás egyik forgatókönyvét: egy felhasználó azon dolgozott, hogyan javíthat ki egy hibás kapcsolót egy távoli szakértő segítségével.

Egy világos kapcsoló kijavítva, amely segítséget nyújt a Skype for HoloLens

Egy szakértő 1:1-es útmutatót nyújt a 2D-sasztali számítógépéről egy 3D-s, vegyes valóságú eszköz felhasználója számára. Az útmutatószinkron, és a fizikai környezetek eltérőek.

Az ehhez hasonló élmény a jelenlegihez hasonló lépés, amely a videó és hang paradigmáját alkalmazza egy új adathordozóra. Ahogy azonban a jövőbe nézünk, jobban meg kell határoznunk a forgatókönyveink kínálta lehetőségeket, és olyan élményeket kell kiépítenünk, amelyek tükrözik a vegyes valóság erősségét.

Vegyük például a NASA Jet Propulsion Laboratory által fejlesztett OnSightegyüttműködési eszközét. A Mars holdjáró küldetéseiből származó adatokon dolgozó tudósok valós időben működhetnek együtt munkatársaikkal a marsi környezet adatain belül.

Munkatársak távoli együttműködése a Mars Holdjáróval való munka megtervezése során

Egy kutató egy 3D-s, vegyes valóságú eszköz használatával ismerkedik meg egy környezettel, és távoli munkatársak kisebb csoportját használja 3D- és 2D-eszközök használatával. Az együttműködésszinkron (de aszinkron módon újraható), a fizikai környezetek pedig (gyakorlatilag) hasonlóak.

Az Olyan élmények, mint az OnSight, új lehetőségeket kínálnak az együttműködésre. A virtuális környezet elemeinek fizikai rámutatástól a munkatárs mellett való állásig és az eredményeik magyarázataként megosztó nézőpontjukig. Az OnSight a modern és a jelenléti fókuszt felhasználva újragondolja a vegyes valóságban való megosztást.

Az intuitív együttműködés a beszélgetés alapja, amely együtt dolgozik, és megérti, hogyan alkalmazhatjuk ezt az intuíciót a vegyes valóság összetettségére, elengedhetetlen. Ha nem csupán újra létrehozhatjuk a megosztási élményeket a vegyes valóságban, de túltöltjük őket, akkor az paradigmaváltást fog hozni a munka jövőjéhez. A vegyes valóságban megosztott élmények megtervezése új és izgalmas terület – és még csak a kezdet.

A megosztott élmények építésének első lépések

Az alkalmazástól és a forgatókönyvtől függően különböző követelmények vonatkoznak a kívánt élmény elérésére. Ezek közé tartoznak többek között a következők:

  • Match-making:Munkamenetek létrehozása, munkamenetek meghirdetése, adott személyek felderítése és meghívása helyileg és távolról is a munkamenethez való csatlakozáshoz.
  • Horgonymegosztás:Lehetőség a koordináták több eszköz közötti igazítására egy közös helyi térben, hogy a hologramok mindenki számára ugyanazon a helyen jelenjenek meg.
  • Hálózat:Lehetőség arra, hogy a személyek és hologramok pozíciói, interakciói és mozgása valós időben szinkronizálva legyen az összes résztvevő között.
  • State Storage:Lehetőség a hologram jellemzőinek és helyének a térben való tárolására a munkamenet közbeni csatlakozáshoz, a visszahíváshoz egy későbbi időpontban, valamint a hálózati problémák elleni robusztusság.

A közös használat kulcsa, hogy több felhasználó is ugyanazt a hologramokat láthatja a saját eszközén, és gyakran a horgonyok megosztásával igazítja a koordinátákat az eszközök között.

A horgonyok megosztásához használja az Azure Spatial Anchors:

  • A felhasználó először elhelyezi a hologramot.
  • Az alkalmazás létrehoz egy térbeli horgonyt,amely pontosan a világra tűzi a hologramot.
  • A horgonyok megoszthatók a HoloLens, iOS és Android rendszerű eszközökkel az Azure Spatial Anchors.

A megosztott térbeli horgonyokkal az alkalmazás mostantól minden eszközön rendelkezik egy közös koordinátarendszerrel, amelyben tartalmakat lehet eltolni. Az alkalmazás így gondoskodhat arról, hogy a hologramot ugyanazon a helyen helyezze el és helyezze el.

A HoloLens a horgonyokat offline is megoszthatja az egyik eszközről a másikra. Az alábbi hivatkozások segítségével eldöntheti, mi a legmegfelelőbb az alkalmazás számára.

A technikai lehetőségek értékelése

Többfelhasználós vegyes valóságú élmények építésében számos szolgáltatás és technológia érhető el. Az elérési út kiválasztása bonyolult lehet, ezért a forgatókönyv-központú szemléletet figyelembe véve az alábbiakban néhány lehetőséget is részletezünk.

Megosztott statikus hologramok (interakciók nélkül)

Az Azure Spatial Anchors használata az alkalmazásban. A térbeli horgonyok eszközök közötti engedélyezésével és megosztásával olyan alkalmazást hozhat létre, amelyben a felhasználók ugyanazon a helyen láthatják a hologramokat. Az eszközök közötti további szinkronizálásra azért van szükség, hogy a felhasználók interakcióba léphessenek a hologramokkal, és látják a hologramok mozgását vagy állapotfrissítéseit.

Az első személy perspektíva megosztása

Kihasználhatja a beépített Miracast támogatás használhatja a helyi felhasználók számára, ha támogatott Miracast-fogadóval rendelkezik, például PC-vel vagy TV-vel – nincs szükség további alkalmazáskódra.

Használja ki a MixedReality-WebRTC alkalmazást távoli felhasználók számára, vagy ha olyan nem Miracast eszközei vannak, amelyeken meg szeretné osztani. A WebRTC-kapcsolat engedélyezése 1:1 hang-/videóstreamet tesz lehetővé a felhasználók között, valamint egy adatcsatornát az eszközök közötti üzenetküldéshez. A vegyes valóságú implementáció HoloLens úgy optimalizál, hogy vegyes valóságú videóstreamet biztosít a felhasználó HoloLens számára. Ha a videóstreamelést több távoli ügyfélre szeretné skálázni, általában egy MCU-szolgáltatót (Multipoint-konferenciaegységet) használnak, például a SignalWire-t. A SignalWire Azure-ban való egykattintásos üzembe helyezése a Freeswitch segítségével érhető el.

Megjegyzés

Vegye figyelembe, hogy a SignalWire egy fizetős szolgáltatás, és nincs a Microsoft tulajdonában vagy a Microsofttal kapcsolatban.

Presenter-Spectator és bemutatók

A MixedReality-SpectatorView használatával a spektátornézet funkcióit használhatja az alkalmazásba. Engedélyezzen más eszközöket (HL, Android, iOS és videokamerák), hogy lássa, mit lát az HoloLens más szemszögből ugyanazon a helyen, és frissítéseket kaphat a hologramokat használó gazda HoloLens felhasználóinak interakcióiról. Tekintse meg, rögzítsen képeket, és rögzítsen egy videót arról, hogy a gazdagép hogyan használja az alkalmazásban a hologramokat a saját térbeli szemszögéből, ugyanazon alkalmazás spektorral együtt.

Megjegyzés: Az iOS-/Android-eszközökön készített képek képernyőképen keresztül oszlnak el.

Többfelhasználós együttműködés

Kezdje a többfelhasználósoktatóanyagmal, amely az Azure Spatial Anchors helyi felhasználók számára és a Photon SDK-t használja a jelenet tartalmának/állapotának szinkronizálásához. Helyi együttműködésen alapuló alkalmazásokat hozhat létre, amelyekben minden felhasználó saját nézőpontból rendelkezik a jelenet hologramjairól, és mindegyik teljes mértékben használhatja a hologramokat. A frissítések minden eszközön elérhetőek, és az interakciók ütközésének kezelését a Photon kezeli.

Megjegyzés

Vegye figyelembe, hogy a Photon egy nem Microsoft-termék, ezért előfordulhat, hogy a photon termékkel való számlázási kapcsolatra van szükség a nagyobb használat érdekében a termékskálához és méretezéshez.

Jövőbeli munka

Az összetevők képességei és felületei segítenek közös konzisztenciát és robusztus támogatást biztosítani a különböző forgatókönyvekben és a mögöttes technológiákban. Addig válassza ki az alkalmazásban elérni kívánt forgatókönyvnek megfelelő legjobb útvonalat.

Más forgatókönyvet szeretne használni, vagy egy másik technológiát/szolgáltatást szeretne használni? Adjon visszajelzést GitHub problémákról a megfelelő adattáraban, a lap alján, vagy a HoloDevelopers Slacken.

Lásd még