Sdílená prostředí v hybridní realitě

Hologramy nemusí být privátní jenom pro jednoho uživatele. Holografické aplikace mohou sdílet prostorové kotvy z jednoho zařízení HoloLens, iOS nebo Android do jiného, což uživatelům umožňuje vykreslit hologram na stejném místě v reálném světě na několika zařízeních.

Šest otázek pro definování sdílených scénářů

Než začnete s návrhem pro sdílená prostředí, je důležité definovat cílové scénáře. Tyto scénáře vám pomohou objasnit, co navrhujete, a vytvořit společný slovník, který vám pomůže porovnat a porovnat funkce požadované ve vašem prostředí. Porozumění základnímu problému a různým možnostem řešení je klíčem k odhalení příležitostí spojených s tímto novým médiem.

Prostřednictvím interních prototypů a průzkumů z našich HoloLens partnerských úřadů jsme vytvořili šest otázek, které vám pomůžou definovat sdílené scénáře. Tyto otázky tvoří rámec, který nemá být vyčerpávající, který pomáhá zužitkovat důležité atributy vašich scénářů.

1. Jak se sdílejí?

Prezentace může být vedená jedním virtuálním uživatelem, zatímco více uživatelů může spolupracovat, nebo může učitel poskytnout pokyny virtuálním studentům pracujícím s virtuálními materiály – složitost prostředí se zvyšuje v závislosti na úrovni agentury, kterou uživatel má nebo může mít v nějakém scénáři.

Man and women with holograph on table

Existuje mnoho způsobů sdílení, ale zjistili jsme, že většina z nich spadá do tří kategorií:

  • Presentation(Prezentace): Pokud se stejný obsah zobrazuje několika uživatelům. Příklad: Vyučující přednáší několika studentům pomocí stejného holografického materiálu, který se prezentoval všem. Vyuující ale může mít své vlastní rady a poznámky, které nemusí vidět ostatní.
  • Spolupráce:Když lidé spolupracují na dosažení některých běžných cílů. Příklad: Vyučující předal projekt, aby se dozvěděl o operaci se srdcem. Studenti se zpracují a vytvoří prostředí pro cvičení se sdílenými dovednostmi, které umožňuje studentům zdravotní péče spolupracovat na modelu srdce a učit se.
  • Pokyny:Když jedna osoba pomáhá někomu vyřešit problém při interakci ve stylu 1:1. Příklad: Učitel dává studentům pokyny, když ve sdíleném prostředí dělá cvičení dovedností v oblasti srdečních operací.

2. Jaká je velikost skupiny?

Sdílení 1:1 může poskytnout pevný směrný plán a v ideálním případě můžete na této úrovni vytvořit doklady o konceptu. Uvědomte si ale, že sdílení s velkými skupinami (více než šest lidí) může vést k potížím s technickými (daty a sítěmi) a sociální (dopad toho, že je v místnosti s několika avatary). Složitost se exponenciálně zvyšuje, když budete od malých povelké skupiny.

Zjistili jsme, že potřeby skupin mohou spadat do tří kategorií velikostí:

  • 1:1
  • Malé < 7
  • Velký > = 7

Velikost skupiny je důležitou otázkou, protože ovlivňuje:

  • Reprezentace lidí v holografickém prostoru
  • Škálování objektů
  • Škálování prostředí

3. Kde jsou všichni?

Síla hybridní reality vstupuje do hry, když se sdílené prostředí může odehrát na stejném místě. Tomu říkáme kolokované. Pokud je skupina distribuovaná a alespoň jeden účastník není ve stejném fyzickém prostoru (jak je tomu často u virtuální reality), nazýváme vzdálené prostředí. Často se stává, že vaše skupina má kolokované i vzdálené účastníky (například dvě skupiny v konferenčních místnostech).

Tři lidé s holografem na tabulce

Informace o tom, kde se uživatelé nacházejí, vám pomůžou následující kategorie:

  • Kolokované:Všichni uživatelé budou ve stejném fyzickém prostoru.
  • Vzdálené:Všichni uživatelé budou v samostatných fyzických prostorech.
  • Obojí:Uživatelé budou kombinací kolokovaných a vzdálených prostorů.

Tato otázka je zásadní, protože má vliv na:

  • Jak lidé komunikují?
    • Příklad: Jestli mají mít avatary?
  • Jaké objekty vidí. Jsou všechny objekty sdílené?
  • Jestli se musíme přizpůsobit jejich prostředí?

4. Kdy se sdílí?

Když nás napadne sdílená prostředí, obvykle si myslíme synchronní prostředí: Děláme to všichni společně. Pokud ale zahrneme jeden virtuální prvek, který přidal někdo jiný, máme asynchronní scénář. Imagine poznámku nebo hlasový záznam vlevo ve virtuálním prostředí. Jak si poradíte se 100 virtuálními poznámkami, které zůstaly ve vašem návrhu? Co když jsou od desítek lidí s různými úrovněmi ochrany osobních údajů?

Představte si své zkušenosti jako jednu z těchto kategorií času:

  • Synchronně:Sdílení holografického prostředí ve stejnou dobu. Příklad: Dva studenti, kteří dělají cvičení dovedností ve stejnou dobu.
  • Asynchronně:Sdílení holografického prostředí v různou dobu Příklad: Dva studenti, kteří dělají cvičení dovedností, ale pracují v různých částech v různou dobu.
  • Obojí:Uživatelé se někdy budou sdílet synchronně, ale jindy asynchronně. Příklad: Profesor, který promídí přiřazení, které studenti udělali později, a na další den vypouští poznámky pro studenty.

Tato otázka je důležitá, protože ovlivňuje:

  • Trvalost objektu a prostředí. Příklad: Ukládání stavů, aby je bylo možné načíst.
  • Perspektiva uživatele. Příklad: Možná si pamatujete, na co se uživatel díval při vypouštění poznámek.

5. Jak podobná jsou jejich fyzická prostředí?

Pravděpodobnost dvou identických reálných prostředí mimo kolokované prostředí je shodná, pokud tato prostředí nebyla navržena tak, aby byla identická. Pravděpodobnější je, že budete mít podobná prostředí. Konferenční místnosti jsou například podobné – obvykle mají centrálně umístěný schůdný schůdky. Obýváky jsou na druhé straně odlišné** a mohou zahrnovat libovolný počet kusů v nekonečné škále rozložení.

Holograph on table

Představte si, že vaše prostředí pro sdílení se vešla do jedné z těchto dvou kategorií:

  • Podobné:Prostředí s podobným osvětlením, okolním světlem a zvukem a velikostí fyzické místnosti. Příklad: Vyučující je v přednášce A a studenti jsou v přednášce B. Přednáškový síň A může mít méně křesílí než B, ale oba mohou mít fyzický schůdek, na který se hologramy umístit.
  • Odlišná:Prostředí, která se liší v nastaveních místnosti, velikostech místností, světle a zvuku. Příklad: Vyučující je v zámečce, ale studenti jsou ve velkém přednášce naplněném studenty a učiteli.

Prostředí je důležité promyslet, protožebude mít vliv na:

  • Jak si lidé tyto objekty prochová. Příklad: Pokud vaše prostředí funguje nejlépe s tabulkou a uživatel nemá žádnou tabulku? Nebo na rovném povrchu, ale uživatel má zasycený prostor.
  • Škálování objektů Příklad: Umístění lidského modelu o 6 stopách na tabulku může být náročné, ale model srdce by fungoval skvěle.

6. Jaká zařízení používají?

V současné době pravděpodobně uvidíte sdílená prostředí mezi dvěma imerzivními zařízeními (tato zařízení se můžou mírně lišit u tlačítek a relativních schopností, ale ne velmi dobře) nebo mezi dvěma holografickými zařízeními vzhledem k řešením, která jsou na tato zařízení zacílená. Zvažte ale, jestli bude potřeba vzít v úvahu 2D zařízení (účastník nebo pozorovatel mobilních/desktopových zařízení), zejména v situacích smíšených 2D a 3D zařízení. Pochopení typů zařízení, která budou účastníci používat, je důležité nejen proto, že mají různou věrnost a příležitosti k datům, ale také proto, že uživatelé mají pro každou platformu jedinečná očekávání.

Prozkoumání potenciálu sdílených prostředí

Odpovědi na výše uvedené otázky můžete kombinovat, abyste lépe porozuměli vašemu sdílenému scénáři a při rozšiřování prostředí vykrystalizujete výzvy. Pro tým v Microsoftu to pomohlo vytvořit roadmapu pro zlepšení prostředí, která dnes používáme, porozumění nuancí těchto složitých problémů a tomu, jak využít výhod sdílených prostředí v hybridní realitě.

Představte si například jeden ze scénářů Skype startu HoloLens: uživatel pracoval na tom, jak opravit poškozený přepínač světla s pomocí od vzdáleně umístěného odborníka.

Oprava světlého přepínače s asistencí prostřednictvím Skype pro HoloLens

Odborník poskytuje pokyny 1:1 ze svého 2Dstolního počítače pro uživatele zařízení 3D hybridní reality. Pokyny jsousynchronní a fyzická prostředí se od vás odchýlily.

Prostředí, jako je toto, je kroková změna z našeho aktuálního prostředí – použití paradigmatu videa a hlasu na nové médium. Jak se ale podíváme do budoucna, musíme lépe definovat příležitosti našich scénářů a vytvářet prostředí, která odrážejí sílu hybridní reality.

Vezměte v úvahu nástroj pro spolupráci OnSightvyvinutý v laboratoři Jet Pro zamířené v NASA. Vědci pracující na datech z misí roveru Mars mohou spolupracovat s kolegy v reálném čase v datech z Mar zasíťování.

Spolupráce mezi kolegy, kteří jsou vzdáleně odděleni, aby naplánoval práci pro rover Mars

Vědec zkoumá prostředí pomocí zařízení 3D hybridní reality s malou skupinou vzdálených kolegů, kteří používají 3D a 2D zařízení. Spolupráce jesynchronní (ale je možné se k tomu znovu asynchronně) a fyzická prostředí jsou (prakticky) podobná.

Prostředí, jako je OnSight, představují nové příležitosti ke spolupráci. Od fyzického nasouvání prvků ve virtuálním prostředí až po místo vedle kolegy a sdílení jejich perspektivy při vysvětlování jejich zjištění. OnSight používá objektiv ponoření a přítomnosti k přehodnocení prostředí sdílení ve smíšené realitě.

Intuitivní spolupráce je zásadním kamenem konverzace, spolupráce a pochopení toho, jak můžeme tuto intuici použít ke složitosti hybridní reality. Pokud můžeme nejen znovu vytvořit prostředí sdílení v hybridní realitě, ale také je doplážit, bude to paradigma pro budoucnost práce. Navrhování pro sdílená prostředí ve smíšené realitě je nový a zajímavý prostor – a jsme jen na začátku.

Začínáme s vytvářením sdílených prostředí

V závislosti na vaší aplikaci a scénáři budou mít různé požadavky na dosažení požadovaného prostředí. Zde jsou některá z vylepšení:

  • Vytváření shod:Možnost vytvářet relace, inzerovat relace, zjišťovat a zvou konkrétní lidi, a to jak místně, tak vzdáleně, aby se k relaci připojili.
  • Sdílení ukotvení:Schopnost zarovnat souřadnice mezi více zařízeními ve společném místním prostoru, takže hologramy se zobrazují pro všechny lidi na stejném místě.
  • Sítě:Schopnost mít pozice, interakce a pohyby lidí a hologramů synchronizované v reálném čase napříč všemi účastníky.
  • Úložiště stavu:Schopnost ukládat charakteristiky a umístění hologramu do prostoru pro připojení během relace, úplnost později a odolnost proti problémům se sítí.

Klíčem ke sdíleným prostředím je, že více uživatelů vidí na vlastním zařízení stejné hologramy na světě. Často se to provádí sdílením ukotvení, aby bylo možné zarovnat souřadnice mezi zařízeními.

Pokud chcete sdílet ukotvení, použijte Azure Spatial Anchors:

  • Nejprve uživatel umístí hologram.
  • Aplikace vytvoří prostorovou kotvupro připnutí hologramu přesně na světě.
  • Ukotvení lze sdílet se zařízeními HoloLens, iOSem a Androidem prostřednictvím Azure Spatial Anchors.

Při sdíleném prostorovém ukotvení má teď aplikace na každém zařízení společný souřadnicový systém, do kterého může umístit obsah. Aplikace teď může zajistit umístění a orientaci hologramu na stejném místě.

Na HoloLens zařízení můžete také sdílet ukotvení offline z jednoho zařízení do druhého. Na následujících odkazech se můžete rozhodnout, co je pro vaši aplikaci nejlepší.

Vyhodnocení technických možností

K dispozici jsou různé možnosti služeb a technologií, které vám pomůžou vytvářet prostředí hybridní reality pro více uživatelů. Volba cesty může být záludná, takže s ohledem na scénář jsou některé možnosti podrobně uvedené níže.

Sdílené statické hologramy (bez interakcí)

Využijte Azure Spatial Anchors ve vaší aplikaci. Povolení a sdílení prostorových ukotvení napříč zařízeními umožňuje vytvořit aplikaci, ve které uživatelé vidí hologramy na stejném místě ve stejnou dobu. K tomu, aby uživatelé s hologramy viděli pohyby nebo aktualizace stavu hologramů, je potřeba další synchronizace mezi zařízeními.

Sdílení perspektivy první osoby

Pokud máte podporovaného příjemce Miracast, jako je počítač nebo Miracast, využijte integrovanou podporu místních uživatelů – není potřeba žádný další kód aplikace.

Využijte MixedReality-WebRTC ve své aplikaci, pro vzdálené uživatele nebo pokud máte Miracast zařízení, která chcete sdílet. Povolení připojení WebRTC umožňuje streamy zvuku a videa 1:1 mezi uživateli, s datovým kanálem pro zasílání zpráv mezi zařízeními. Implementace hybridní reality se optimalizuje pro HoloLens tím, že poskytuje stream videa zachytávání hybridní reality se zobrazením HoloLens uživateli ostatním uživatelům. Pokud chcete škálovat streamování videa na více vzdálených klientů, obvykle se používá poskytovatel služeb MCU (MultipointKonferenční jednotka), například SignalWire. Nasazení SignalWire jedním kliknutím do Azure je k dispozici prostřednictvím přepínače Freeswitch.

Poznámka

Upozorňujeme, že SignalWire je placená služba, která není vlastněná ani přidružená k Microsoftu.

Presenter-Spectator aplikací a ukázek

Využijte MixedReality-SpectatorView, abyste do své aplikace vnesli funkci zobrazení diváka. Povolte ostatním zařízením (HL, Android, iOS HoloLens video kamery) a podívejte se, co HoloLens vidí z jiného hlediska ve stejném umístění, HoloLens dostávat aktualizace o interakcích uživatele hostitele, který s hologramy pracuje. Podívejte se, pohrajte si snímky a nahrajte video o tom, co hostitel dělá s hologramy v aplikaci z vlastního prostorového pohledu, a spolu s divákem doprovodu stejné aplikace.

Poznámka: Obrázky jsou pořízené na snímku obrazovky na zařízeních s iOSem/Androidem.

Prostředí pro spolupráci více uživatelů

Začněte naším výukovýmkurzem pro více uživatelů, který využívá Azure Spatial Anchors pro místní uživatele a sadu Photon SDK k synchronizaci obsahu a stavu ve scéně. Vytvářejte místně spolupracující aplikace, kde každý uživatel má svůj vlastní pohled na hologramy ve scéně a může s hologramy plně pracovat. Aktualizace se poskytují na všech zařízeních a správu konfliktů interakcí zpracovává Photon.

Poznámka

Upozorňujeme, že Photon je produkt od jiných společností než Microsoft, takže pro vyšší využití může být potřeba fakturační vztah s Photon.

Budoucí práce

Možnosti a rozhraní komponent vám pomůžou zajistit běžnou konzistenci a robustní podporu v různých scénářích a základních technologiích. Do té doby zvolte nejlepší cestu, která bude v souladu se scénářem, který se ve vaší aplikaci pokoušíte dosáhnout.

Jiný scénář nebo chcete použít jiný technologie nebo službu? V dolní části GitHub nám poskytnte zpětnou vazbu k problémům s aplikacemi v příslušném GitHub nebo se na holoDevelopers Slack .

Viz také