Tworzenie projektu projektu Hologramy

Uwaga

Zajmij się małym oknem ładowania, aby uwzględnić wszystkie chłodne pliki GIF i osadzone wideo na tej stronie.

Edukacja, jak projektować dla rzeczywistości mieszanej, może być trudne, ponieważ nośnik nie zawsze dobrze przekłada się na procesy projektowania 2D. W firmie Microsoft firma Microsoft utworzyła bezpłatną aplikację dla platformy HoloLens 2, która pomoże Ci z wyprzedzeniem poznać podstawy projektowania środowiska użytkownika rzeczywistości mieszanej. Unikatowe podejście do projektowania aplikacji Hologramy jest oparte na zachowaniach, poradach i zaleceniach rzeczywistości mieszanej, które ułatwiają tworzenie atrakcyjnych i wspaniałych HoloLens własnych aplikacji. Pobierz aplikację bezpłatnie ze strony Microsoft Store i ucz się od zespołu projektowego firmy Microsoft Mixed Reality Design!


Animowany obraz GIF sceny śledzenia głowy w pokoju pokazowym projektu Hologram

Projektowanie pokoju demonstracyjnego Hologramu (znanego również jako dom w domu w 1996 r.)

Projektowanie pod zakresie rzeczywistości mieszanej

Tak jak wielu z Was, kiedyś projektowały aplikacje mobilne. W świecie projektowania 2D, w którym wszystko jest teraz na świecie, przeskocząc do pełnego przetwarzania przestrzennego, było to znacząca zmiana. W rzeczywistości mieszanej aplikacje nie są już ograniczone do ekranu 2D. W rzeczywistości są one niemal bezpłatne, umieszczane w świecie rzeczywistym i współdziałają z rzeczywistymi obiektami.

Dla mnie połączenie środowiska 3D z konwencjonalnymi procesami projektowania 2D jest najbardziej wymagającym aspektem opracowywania rzeczywistości mieszanej. W rozmowach z klientami słyszę takie rzeczy jak "Wiem, jakie funkcje uwzględnić i jak je rozpocząć. Jest to kod. Mogę postępować zgodnie z pc i samouczkami, ale środowisko użytkownika? Tak wiele funkcji, różnych opcji wejściowych, różnych scenariuszy i środowisk fizycznych jest przytłaczających".

Obraz z warsztatów HoloLens 2 Design Workshop in San Francisco Image (Obraz z HoloLens 2 Design Workshop w San Francisco)

Możliwość uczenia

Na początku nie było to oczywiste, ale stanowiła doskonałą okazję do użycia rzeczywistości mieszanej jako średniej, aby ją nauczyć.

Projektowanie Hologramy to wizualne środowisko, które wyjaśnia pojęcia i zalecenia dotyczące projektowania rzeczywistości mieszanej. To tylko Ty i nauczyciel wirtualny demonstrujący koncepcje projektowania rzeczywistości mieszanej. Wszystko pochodzi z perspektywy trzeciej osoby, a środowisko znajduje się w Twojej własnej przestrzeni.


Projektowanie Hologramy wideo z klipem wideo

Exploring the house (Eksplorowanie domu w chalce)

Dom w domu to środowisko wirtualne, z których korzystamy w całej aplikacji. Środowisko to miniaturowe pomieszczenie o rozmiarze 80 x 60 x 40 cm, które zawiera podstawowe elementy wspólne dla większości pomieszczeń, takie jak ściany, ściany, ściany, sklepy, tabela i tv. Głównym elementem środowiska aplikacji jest dom w domu, dlatego musieliśmy się upewnić, że będzie on działać świetnie w każdym środowisku. Pomyśl o nim jak o małym pomieszczeniu pokazowym do wizualizowania wszelkiego rodzaju koncepcji rzeczywistości mieszanej.

Wideo z zachowaniem korekty w uciekierach

Prototypy 1:1 a 1:10

Nasze początkowe założenie było takie, że pokazy 1:1 będą wspaniałe, prawie tak jak w przypadku rzeczywistego nauczyciela. Użytkownik zobaczy wszystko, co nauczyciel zobaczy w rzeczywistej skali. Jednak od razu zdaliśmy sobie sprawę, że będzie kilka problemów:

  • Większość deweloperów będzie uruchamiać swoje aplikacje w biurach lub w pomieszczeniach mniejszych niż pomieszczenie pokazowe, więc nie pasuje.
  • Ekrany są addytywne, co oznacza, że całe środowisko wirtualne zostanie nałogowe na pomieszczenie użytkownika. Może to być mylące w przypadku dwóch tabel, na przykład podwójnych sof i ścian, które nie są wyrównane.
  • I najgorszym ze wszystkich środowisk wirtualnych, które są silnie ograniczone przez pole widzenia.

Gdy próbowaliśmy skali mini 1:10, wynik był świetnym widokiem ptaków na realistyczne pomieszczenie. Można było zobaczyć wszystko, co dzieje się pod dowolnym kątem w tym samym czasie. Najbardziej zaskakujące jest to, że większość testerów znalazła o wiele bardziej immersywną wersję, a następnie nigdy nie przełączała się z powrotem do skali 1:1. Dlatego zdecydowaliśmy się na wycinki wersji 1:1 i uniknąć dodatkowej pracy wymaganej do dostosowania interfejsu użytkownika i innych aspektów aplikacji.

Pole widoku z polem widoku w skali 1:1 i skalą 1:1

Pole widoku z polem widoku w skali 1:10 w skali 1:10

Korzystanie z Przechwytywanie rzeczywistości mieszanej

Jedną z najbardziej charakterystycznych funkcji tej aplikacji jest użycie języka Przechwytywanie rzeczywistości mieszanej uczenia i demonstruj koncepcje projektowania rzeczywistości mieszanej.

Firma Microsoft ma w San Francisco Przechwytywanie rzeczywistości mieszanej studio. Firma Microsoft licencjonuje tę technologię również na inne studia, takie jak Avatar Dimension w Stanie Waszyngton, Metastage w Los Angeles, Dimension Studio w Londynie, SK Telecom w Seulu i Volucap w Seattle. Więcej informacji na temat naszego Przechwytywanie rzeczywistości mieszanej Studio można znaleźć tutaj.


Nieprzetworzone nagranie Daniela Widery z jednego ze 106 aparatów w Przechwytywanie rzeczywistości mieszanej Studio w San Francisco.

Proces przechwytywania generuje siatkę z ramki kluczowej, wartości normalne i teksturę, które mogą być dostarczane jako pliki OBJ/PNG do dalszego przetwarzania po produkcji lub gotowe do odtwarzania jako skompresowany plik MP4 H.264. Te pliki można zaimportować do projektów Unity, Unreal, Native i WebXR. Pliki można uruchamiać w systemach Windows, iOS, Mac, Android, Magic Przestępny i Playstation VR.


Odtwarzacz przechwytywania został dostarczony do analizowania plików mp4, które zawierają wideo z siatkami audio i osadzonymi.

Manipulowanie przechwytywaniami i obiektami wirtualnymi

Mixed Reality przechwytywania tworzyć wirtualne reprezentacje osób lub zwierząt, ale czasami te znaki mogą być potrzebne do interakcji z innymi obiektami wirtualnymi. W poniższych dwóch przykładach przedstawiono różne sposoby manipulowania scenami w celu osiągnięcia tego efektu.

Korekta spojrzenia głowy

Dostosowanie zagłębu umożliwia przeniesienie przechwyconej osoby w czasie wykonywania, co oznacza, że można mieć przechwyconą twarz w kierunku użytkownika. W naszym przypadku umyliśmy go do pokazania pola widoku i pola zainteresowania. Poniżej przedstawiono ruchomy obiekt gameobject, który działa jako cel spojrzenia głowy. Gdy przenosimy obiekt docelowy z boku na bok, następuje przechwycenie głowy.

Umyliśmy tę sztuczkę, aby upewnić się, że bezczynne przechwytywanie zawsze będzie twarzą w kierunku hologramów umieszczonych w różnych częściach domu.

Head capture jest przenoszony w czasie wykonywania po docelowym gameobject w a unity

Element head capture jest przenoszony w czasie wykonywania po docelowym gameobject w a aparatu Unity.

Synchronizowanie animowanych obiektów

Drugi z nich to animowanie obiektów w celu zsynchronizowania ich z ruchem przechwytywania. W różnych częściach aplikacji zaimportowaliśmy sekwencyjne elementy OBJ określonego przechwytywania co pięć ramek. Następnie w scenie zostały animowane obrazy OBJ, aby upewnić się, że pasują do odpowiedniej ramki przechwytywania. Jest to tedious proces animowania i tworzenia ramek kluczy, ale wynik jest świetny. Teraz możesz zobaczyć, Przechwytywanie rzeczywistości mieszanej współdziałają z nieprzechwyconym obiektami.

Zsynchronizowana animacja między Przechwytywanie rzeczywistości mieszanej a panelem interfejsu użytkownika

Zsynchronizowane animacje między Przechwytywanie rzeczywistości mieszanej a panelem interfejsu użytkownika

Proces twórczy interfejsu użytkownika

Gdy rozpoczęliśmy projektowanie interfejsu użytkownika, chcieliśmy pokazać trochę magicznych elementów i możliwości, które muszą oferować hologramy. Samo wyświetlanie statycznych okien 2D i pól tekstowych nie działa w świecie 3D. Wiele z tych możliwości po prostu nie jest pokazywanych, więc od samego początku postanowiliśmy odejść od tego i w pełni wykorzystać przestrzeń holograficzną 3D.

Na początku rozpoczęliśmy od dodania grubości do paneli, ikon i informacji tekstowych. Nadal, jako użytkownik, widzę pole tekstowe. Pola tekstowe z obrazami, ale nie ma nas. Poszliśmy dalej, korzystając z cieniowania zestawu narzędzi Mixed Reality Toolkit (MRTK). Cieniowanie zestawu narzędzi MRTK stało się wydajnym narzędziem i utkwiliśmy w jego funkcjach wzornika, aby dodać negatywną głębokość do paneli. Oznacza to, że zamiast dodawać elementy przed polem tekstowym, ikony są teraz wyświetlane za przezroczystym panelem. To, co widzę teraz jako użytkownik, jest czymś, czego nie mogę już replikować w świecie rzeczywistym i właśnie w tym miejscu zaczęła się tworzyć magia holograficzna. Ponadto jako użytkownik, który nie lubi czytać, robię już wiele w świecie fizycznym.

Oczywiście ikony działają znacznie lepiej niż prosty tekst. Aby zapewnić jeszcze bardziej zaawansowane wskazówki, zacząłem tworzyć zestaw animowanych obiektów i awatarów, z których każdy opowiada niewielką historię o tym, co jest wykonywane w odpowiednim scenariuszu i jak jest używany.

Animowany obraz GIF interaktywnego systemu menu holograficznego

Podstawowe pojęcia

Śledzenie głowy i śledzenie oczu

Śledzenie rąk

Świadomość przestrzenna

Ramka holograficzna

Animowany plik GIF użytkownika rozgląda się po domach z wyróżniona ramką holograficzną

Układy współrzędnych

Animowany obraz GIF użytkownika rozgląda się po domach z wyróżninymi układami współrzędnych

Śledzenie wzroku

Animowany obraz GIF użytkownika, który patrzy na nieschematy hologramy z wyróżnioną promienią oka

Wizualizacja i mapowanie przestrzenne skanowania pomieszczenia

Animowany obraz GIF ze wszystkimi powierzchniami wewnątrz mapowanych magazynów

Zrozumienie sceny

Animowany plik GIF obiektów w rozpoznawanej domach

Przekieruj i zateń za pomocą promieni dłoni

Animowany obraz GIF użytkownika, który podnosi rękę z wyróżnioną promieniem ręki

Momenty "Wypróbuj"

Projektowanie Hologramy uczy koncepcji rzeczywistości mieszanej, ale umożliwia również wypróbowanie ich w pokoju. Po wytłumaczeniu niektórych z tych wyjaśnień wstrzymujemy i przejmemy Cię z domu w domu w tryb interaktywny. Oto kilka przykładów tych interaktywnych momentów:

Animowany obraz GIF ramki śledzenia dłoni pokazujący, kiedy są wykrywane ręce i kiedy wchodzą w pole widoku

Ramka śledzenia rąk przedstawiająca czas wykrycia rąk i wejścia w pole widoku.

Animowany plik GIF interakcji z powalacyjną skryptą za pośrednictwem wielu interakcji

Interakcja z powalacyjną skryptą za pośrednictwem bardzo interakcji

Animowany obraz GIF z możliwością eksplorowania niemal każdej interakcji

Exploring near interaction affordances (Eksplorowanie niemal każdej interakcji)

Informacje o zespole

Picture of Daniel Escudero Daniel Ichdero
Główny projektant techniczny
Dan jest dyrektorem ds. projektowania w firmie Hologramy. Obecnie pracuje jako kierownik projektu w witrynie Mixed Reality Academy firmy Microsoft w San Francisco, a wcześniej był projektantem w jednej z uczelni Mixed Reality w Londynie.
Picture of Martin Wettig Martin Zięć
Starszy 3D Artist
Martin kieruje 3D Art and UI Design on Designing Hologramy ,a wcześniej był starszym 3D Artist w jednym z Mixed Reality Studio firmy Microsoft w Paryżu.

Ogromne podziękowania dla zespołu projektowego Mixed Reality za dzielenie się tak dużą wiedzą oraz wspaniałemu zespołowi teorii obiektów za to, że są istotnymi elementami zespołu na każdym etapie projektu. Dziękujemy wszystkim za wspaniałe talenty, za Twoją pasję i wyjątkowe oko do projektowania.