Udostępnione doświadczenia w rzeczywistości mieszanej

Hologramy nie musi być prywatna tylko dla jednego użytkownika. Aplikacje holograficzne mogą udostępniać kotwice przestrzenne z jednego urządzenia z systemem HoloLens, iOS lub Android na innym, dzięki czemu użytkownicy mogą renderować hologramów w tym samym miejscu w świecie rzeczywistym na wielu urządzeniach.

Sześć pytań dotyczących definiowania scenariuszy udostępnionych

Przed rozpoczęciem projektowania dla udostępnionych doświadczeń należy zdefiniować scenariusze docelowe. Te scenariusze pomagają wyjaśnić, co projektujesz, i ustalić wspólne słownictwo, które pomoże porównać i porównać funkcje wymagane w Twoim doświadczeniu. Zrozumienie podstawowego problemu i różnych sposobów rozwoju rozwiązań ma kluczowe znaczenie dla odkrywania możliwości związanych z tym nowym medium.

Za pośrednictwem wewnętrznych prototypów i eksploracji z HoloLens partnerskich utworzono sześć pytań, które ułatwiają definiowanie współdzielonych scenariuszy. Te pytania tworzą platformę, która nie powinna być wyczerpująca, aby ułatwić destylarnie ważne atrybuty scenariuszy.

1. Jak są one współużytkowe?

Prezentacją może kierować jeden użytkownik wirtualny, a wielu użytkowników może współpracować, a nauczyciel może zapewnić wskazówki dla wirtualnych uczniów pracujących z materiałami wirtualnymi — złożoność środowisk zwiększa się w zależności od poziomu agencji, w którym użytkownik ma lub może działać w scenariuszu.

Man and women with holograph on table (Mężczyzna i kobiety z holografem na tablecie)

Istnieje wiele sposobów udostępniania, ale odkryliśmy, że większość z nich można podzielić na trzy kategorie:

  • Prezentacja: gdy ta sama zawartość jest wyświetlana kilku użytkownikom. Na przykład: profesor wykładuje kilku uczniom przy użyciu tego samego materiału holograficznego, który jest prezentowany wszystkim. Profesor może jednak mieć własne wskazówki i notatki, które mogą nie być widoczne dla innych osób.
  • Współpraca: Gdy ludzie współpracują ze sobą w celu osiągnięcia niektórych typowych celów. Na przykład: Profesor udzielił projektu, aby dowiedzieć się, jak zrobić operację serca. Uczniowie tworzą w parach i tworzą wspólne środowisko laboratorium umiejętności, które umożliwia studentom medycyny współpracę nad modelem serca i naukę.
  • Wskazówki: Gdy jedna osoba pomaga komuś rozwiązać problem w więcej interakcji w stylu "jeden do jednego". Na przykład: Profesor udziela wskazówek studentowi, gdy robi laboratorium umiejętności w zakresie operacji serca we wspólnym doświadczeniu.

2. Jaki jest rozmiar grupy?

Środowisko udostępniania "jeden do jednego" może zapewnić silną linię bazową, a najlepiej, jeśli na tym poziomie można utworzyć weryfikacje koncepcji. Należy jednak pamiętać, że współdzielenie z dużymi grupami (więcej niż sześć osób) może prowadzić do trudności technicznych (danych i sieci) i społecznościowych (wpływ pracy w pomieszczeniu z kilkoma awatarami). Złożoność zwiększa się wykładniczo w przypadku od małych do dużych grup.

Odkryliśmy, że potrzeby grup mogą być podzielone na trzy kategorie rozmiarów:

  • 1:1
  • Mała < 7
  • Duże >= 7

Rozmiar grupy stanowi ważne pytanie, ponieważ ma to wpływ na:

  • Reprezentacje osób w przestrzeni holograficznej
  • Skalowanie obiektów
  • Skala środowiska

3. Gdzie są wszyscy?

Siła rzeczywistości mieszanej ma swoje miejsce, gdy wspólne środowisko może odbywać się w tej samej lokalizacji. Nazywamy to kolokacji. Z drugiej strony, gdy grupa jest dystrybuowana i co najmniej jeden uczestnik nie znajduje się w tej samej przestrzeni fizycznej (jak często w przypadku VR), nazywamy to zdalnym doświadczeniem. Często jest tak, że grupa ma zarówno uczestników kolokowanych, jak i zdalnych (na przykład dwie grupy w sali konferencyjnej).

Trzy osoby z holografem na tablecie

Następujące kategorie ułatwiają przekazanie informacji o tym, gdzie znajdują się użytkownicy:

  • Kolokowanie: wszyscy użytkownicy będą w tym samym miejscu fizycznym.
  • Zdalne: wszyscy użytkownicy będą w oddzielnych miejscach fizycznych.
  • Oba: użytkownicy będą kombinacją przestrzeni kolokowanych i zdalnych.

To pytanie ma kluczowe znaczenie, ponieważ ma wpływ na:

  • Jak komunikują się ludzie?
    • Na przykład: Czy powinny mieć awatary?
  • Jakie obiekty widzą. Czy wszystkie obiekty są współdzielone?
  • Czy musimy dostosować się do ich środowiska?

4. Kiedy są one współużytkowe?

Zwykle myślimy o synchronicznych doświadczeniach, gdy przychodzi nam na myśl wspólne doświadczenia: Wszystkie te działania są wykonywane razem. Jeśli jednak uwzględnimy pojedynczy element wirtualny, który został dodany przez kogoś innego, mamy scenariusz asynchroniczny. Imagine notatkę lub notatkę głosową pozostawione w środowisku wirtualnym. Jak obsługiwać 100 notatek wirtualnych pozostawione w projekcie? Co zrobić, jeśli są to osoby z dziesiątkami osób o różnych poziomach prywatności?

Weź pod uwagę swoje doświadczenia jako jedną z następujących kategorii czasu:

  • Synchronicznie: udostępnianie w tym samym czasie środowisko holograficzne. Na przykład: Dwaj uczniowie wykonujący laboratorium umiejętności w tym samym czasie.
  • Asynchronicznie: udostępnianie środowisko holograficzne w różnych momentach. Na przykład: Dwóch uczniów, którzy pracują w laboratorium umiejętności, ale pracują nad oddzielnymi sekcjami w różnych godzinach.
  • Oba: użytkownicy będą czasami udostępniać dane synchronicznie, ale w innym czasie asynchronicznie. Na przykład: profesor oceniał przypisanie wykonane przez uczniów później i pozostawiał notatki studentom na następny dzień.

To pytanie jest ważne, ponieważ ma wpływ na:

  • Trwałość obiektu i środowiska. Na przykład: przechowywanie stanów w celu ich pobrania.
  • Perspektywa użytkownika. Na przykład: Być może pamiętasz, na co użytkownik patrzył podczas pozostawiania notatek.

5. Jak podobne są ich środowiska fizyczne?

Prawdopodobieństwo, że dwa identyczne środowiska rzeczywiste, poza środowiskami kolokacji, jest bardzo podobne, chyba że te środowiska zostały zaprojektowane tak, aby były identyczne. Prawdopodobnie będziesz mieć podobne środowiska. Na przykład sale konferencyjne są podobne — zwykle mają centralnie zlokalizowaną tabelę otoczoną przez miasta. Z drugiej strony pomieszczenia dzienne są niesłychane** i mogą zawierać dowolną liczbę elementów ogrodów w nieskończonej tablicy układów.

Holograph na tabeli

Weź pod uwagę, że twoje doświadczenia z udostępnianiem pasują do jednej z tych dwóch kategorii:

  • Podobne: środowiska, które mają zwykle podobne oświetlenie, oświetlenie otoczenia i dźwięk, rozmiar fizycznego pomieszczenia. Na przykład: profesor jest w sali wykładowej A, a uczniowie są w sali wykładowej B. Wykład a może mieć mniej studentów niż B, ale obaj mogą mieć fizyczne biurko, na którym można umieścić hologramy.
  • Różne: środowiska, które różnią się ustawieniami oświetlenia, rozmiarami pomieszczenia, oświetleniem i dźwiękiem. Na przykład: nauczyciel znajduje się w pokoju koncentracji uwagi, ale uczniowie znajdują się w dużej sali wykładowej wypełnionej uczniami i nauczycielami.

Ważne jest, aby myśleć o środowisku, ponieważ będzie ono mieć wpływ na:

  • Jak ludzie będą doświadczać tych obiektów. Na przykład: Jeśli środowisko działa najlepiej w przypadku tabeli, a użytkownik nie ma tabeli? Lub na płaskiej powierzchni podłogowej, ale użytkownik ma zaśmieconą przestrzeń.
  • Skala obiektów. Na przykład: Umieszczenie modelu ludzkiego o wysokości sześciu metrów na tabeli może być trudne, ale model serca będzie świetnie działać.

6. Z jakich urządzeń korzysta?

Obecnie często widzisz wspólne środowiska między dwoma urządzeniami immersyjnymi (te urządzenia mogą się nieznacznie różnić w przypadku przycisków i możliwości względnych, ale nie w znacznym stopniu) lub dwóch urządzeń holograficznych, biorąc pod uwagę rozwiązania, które są kierowane do tych urządzeń. Należy jednak rozważyć, czy konieczne będzie uwzględnienie urządzeń 2D (uczestnika lub obserwatora mobilnego/klasycznego), szczególnie w sytuacjach mieszanych urządzeń 2D i 3D. Zrozumienie typów urządzeń, z których będą korzystać uczestnicy, jest ważne nie tylko dlatego, że mają one różną wierność i ograniczenia danych oraz możliwości, ale także dlatego, że użytkownicy mają unikatowe oczekiwania dotyczące każdej platformy.

Eksplorowanie potencjału udostępnionych doświadczeń

Odpowiedzi na powyższe pytania można połączyć, aby lepiej zrozumieć współużytizowany scenariusz, eksponalizując wyzwania w przypadku rozszerzania doświadczenia. Dla zespołu firmy Microsoft pomogło to w ujednoznaniu drogi ulepszania obecnie korzystanych doświadczeń, zrozumienia niuansów tych złożonych problemów i sposobu wykorzystania wspólnych doświadczeń w rzeczywistości mieszanej.

Rozważmy na przykład jeden ze scenariuszy firmy Skype z uruchomienia programu HoloLens: użytkownik pracował nad naprawą uszkodzonego przełącznika światła z pomocą zdalnie zlokalizowanego eksperta.

Naprawianie przełącznika światła z pomocą za pośrednictwem Skype dla HoloLens

Ekspert zapewnia wskazówki 1:1 od swojego komputera stacjonarnego 2D do użytkownika urządzenia rzeczywistości mieszanej 3D. Wskazówki synchroniczne, a środowiska fizyczne różne.

Takie środowisko to zmiana kroku naszego bieżącego doświadczenia — zastosowanie paradygmatu wideo i głosu na nowym nośniku. Jednak w przyszłości musimy lepiej zdefiniować możliwości naszych scenariuszy i tworzyć doświadczenia odzwierciedlające siłę rzeczywistości mieszanej.

Rozważmy narzędzie do współpracy OnSightopracowane przez laboratorium Jet WBSA. Naukowcy pracujący nad danymi z misji łazika marsjańskiego mogą współpracować ze współpracownikami w czasie rzeczywistym w ramach danych z krajobrazu marsjańskich.

Zdalna współpraca między współpracownikami w celu zaplanowania pracy dla łazika Mars

Analityk bada środowisko przy użyciu urządzenia 3D rzeczywistości mieszanej z małą grupą zdalnych współpracowników korzystających z urządzeń 3D i 2D. Współpraca jest synchroniczna (ale można ją ponownie zweryfikować asynchronicznie), a środowiska fizyczne są (wirtualnie) podobne.

Doświadczenia, takie jak OnSight, to nowe możliwości współpracy. Od fizycznego nakierowania elementów w środowisku wirtualnym do pozycji obok współpracownika i udostępniania swojej perspektywy podczas wyjaśniania swoich ustaleń. OnSight używa obiektywu immersji i obecności, aby przemyśleć środowisko udostępniania w rzeczywistości mieszanej.

Intuicyjna współpraca to skala konwersacji, wspólnej pracy i zrozumienia, jak możemy zastosować tę intuicję do złożoności rzeczywistości mieszanej. Jeśli nie tylko będziemy w stanie odtworzyć środowisko udostępniania w rzeczywistości mieszanej, ale dodatkowo je naładować, będzie to zmiana paradygmatu na przyszłość pracy. Projektowanie pod celu obsługi wspólnych doświadczeń w rzeczywistości mieszanej to nowa i ekscytująca przestrzeń — i dopiero zaczynamy.

Wprowadzenie do tworzenia udostępnionych doświadczeń

W zależności od aplikacji i scenariusza istnieją różne wymagania dotyczące osiągnięcia żądanego środowiska. Oto niektóre poprawki:

  • Tworzenie dopasowania: możliwość tworzenia sesji, anonsowania sesji, odnajdywania i zapraszania określonych osób lokalnie i zdalnie do dołączenia do sesji.
  • Udostępnianie kotwic: możliwość wyrównywania współrzędnych między wieloma urządzeniami we wspólnej przestrzeni lokalnej, dzięki czemu hologramy są wyświetlane w tym samym miejscu dla wszystkich osób.
  • Sieć: możliwość synchronizowania pozycji, interakcji i ruchu osób i hologramów w czasie rzeczywistym między wszystkimi uczestnikami.
  • Magazyn stanu: możliwość przechowywania cech hologramów i lokalizacji w przestrzeni na czas sprzężenia w trakcie sesji, późniejsze odwoływanie się oraz niezawodność w przypadku problemów z siecią.

Kluczem do współużytkowania doświadczeń jest to, że wielu użytkowników widzi te same hologramy na świecie na swoim urządzeniu. Często jest to wykonywane przez udostępnianie kotwic w celu wyrównania współrzędnych między urządzeniami.

Aby udostępnić kotwice, użyj usługi Azure Spatial Anchors:

Dzięki wspólnej kotwicy przestrzennej aplikacja na każdym urządzeniu ma teraz wspólny układ współrzędnych, w którym mogą umieszczać zawartość. Teraz aplikacja może zapewnić położenie i orientację hologramu w tej samej lokalizacji.

Na HoloLens można również udostępniać kotwice w trybie offline z jednego urządzenia do innego. Użyj poniższych linków, aby zdecydować, co jest najlepsze dla Twojej aplikacji.

Ocenianie opcji technicznych

Dostępne są różne opcje usług i technologii, które ułatwiają tworzenie rzeczywistości mieszanej dla wielu użytkowników. Wybór ścieżki może być trudny, dlatego biorąc pod uwagę perspektywę ukierunkowaną na scenariusz, niektóre opcje zostały szczegółowo opisane poniżej.

Udostępnione statyczne hologramy (bez interakcji)

Skorzystaj z Spatial Anchors Azure w swojej aplikacji. Włączanie i udostępnianie kotwic przestrzennych między urządzeniami umożliwia utworzenie aplikacji, w której użytkownicy widzą hologramy w tym samym miejscu w tym samym czasie. Dodatkowa synchronizacja między urządzeniami jest potrzebna, aby umożliwić użytkownikom interakcję z hologramami i wyświetlanie ruchu lub aktualizacji stanu hologramów.

Perspektywa udostępniania pierwszej osoby

Korzystaj z wbudowanej Miracast dla użytkowników lokalnych, jeśli masz obsługiwany odbiornik Miracast, taki jak komputer pc lub TV — nie jest wymagany żaden dodatkowy kod aplikacji.

Korzystaj z interfejsu MixedReality-WebRTC w swojej aplikacji, dla użytkowników zdalnych lub w przypadku urządzeń innych niż Miracast, które chcesz udostępnić. Włączenie połączenia WebRTC umożliwia przesyłanie strumieni 1:1 audio/wideo między użytkownikami oraz kanał danych do obsługi komunikatów między urządzeniami. Implementacja rzeczywistości mieszanej optymalizuje pod kątem HoloLens, zapewniając innym użytkownikom strumień wideo przechwytywania HoloLens rzeczywistości mieszanej. Jeśli chcesz skalować w górę przesyłanie strumieniowe wideo do wielu klientów zdalnych, zwykle używany jest dostawca usług MCU (Multipoint Conferencing Unit), taki jak SignalWire. Wdrożenie SignalWire jednym kliknięciem na platformie Azure jest dostępne za pośrednictwem przełącznika Freeswitch.

Uwaga

Należy pamiętać, że SignalWire jest usługą płatną i nie należy do firmy Microsoft ani nie jest powiązana z firmą Microsoft.

Presenter-Spectator aplikacji i pokazów

Korzystaj z widoku MixedReality-Przechwyć widok, aby wprowadzić funkcjonalność widoku do aplikacji. Włącz inne urządzenia (kamery HL, Android, iOS i wideo), aby zobaczyć, co widzi system HoloLens z innej perspektywy w tej samej lokalizacji, oraz otrzymywać aktualizacje dotyczące interakcji użytkownika hosta HoloLens z hologramami. Obejrzyj, zrób zdjęcia i nagraj wideo na temat tego, co host robi z hologramami w aplikacji z Twojej własnej perspektywy przestrzennej, z towarzyszącym sobie cyferbą tej samej aplikacji.

Uwaga: Obrazy są robine za pomocą zrzutu ekranu na urządzeniach z systemem iOS/Android.

Środowisko współpracy dla wielu użytkowników

Zacznij od naszegosamouczka szkoleniowego dla wielu użytkowników, który korzysta z usługi Azure Spatial Anchors dla użytkowników lokalnych i zestawu PHOTON SDK do synchronizowania zawartości/stanu w scenie. Twórz aplikacje do współpracy lokalnej, w których każdy użytkownik ma swoją własną perspektywę na hologramy w scenie i może w pełni wchodzić w interakcje z hologramami. Aktualizacje są udostępniane na wszystkich urządzeniach, a zarządzanie konfliktami interakcji jest obsługiwane przez firmę Photon.

Uwaga

Należy pamiętać, że photon jest produktem firmy innych niż Microsoft, więc może być wymagana relacja rozliczeń z firmą Photon w celu produktizacji i skalowania w celu wyższego użycia.

Przyszłe prace

Możliwości i interfejsy składników pomogą zapewnić wspólną spójność i niezawodną obsługę różnych scenariuszy i technologii bazowych. Do tego czasu wybierz najlepszą ścieżkę, która jest dostosowana do scenariusza, który próbujesz osiągnąć w aplikacji.

Inny scenariusz lub chęć użycia innej technologii/usługi? Podaj opinię GitHub problemów w odpowiednim repo w dolnej części tej strony lub nawiązyj kontaktu z usługą Slack dla użytkowników HoloDevelopers.

Zobacz też