HoloLens (1. generacja) Basics 100: Wprowadzenie do aparatu Unity

Ważne

Samouczki Mixed Reality Academy zostały zaprojektowane z myślą o HoloLens (1. generacji), Unity 2017 i Mixed Reality immersyjne. W związku z tym uważamy, że ważne jest pozostawienie tych samouczków w miejscu dla deweloperów, którzy nadal szukają wskazówek dotyczących tworzenia aplikacji dla tych urządzeń. Te samouczki nie zostaną zaktualizowane o najnowsze zestawy narzędzi ani interakcje używane w wersji HoloLens 2 i mogą nie być zgodne z nowsze wersje aparatu Unity. Będą one utrzymywane w celu kontynuowania pracy na obsługiwanych urządzeniach. Opublikowano nową serię samouczków dla HoloLens 2.

W tym samouczku otworzymy podstawową aplikację rzeczywistości mieszanej sbudowaną za pomocą aparatu Unity.

Obsługa urządzeń

Kurs HoloLens Immersyjne zestawy nagłowne
MR Basics 100: Wprowadzenie do aparatu Unity ✔️ ✔️

Wymagania wstępne

Rozdział 1 — Tworzenie nowego Project

Aby utworzyć aplikację za pomocą aparatu Unity, najpierw musisz utworzyć projekt. Ten projekt jest zorganizowany w kilku folderach, z których najważniejszym jest folder Assets. Jest to folder zawierający wszystkie zasoby importowane z narzędzi do tworzenia zawartości cyfrowej, takie jak Maya, Max Przem 4D lub Unity, cały kod, który tworzysz za pomocą programu Visual Studio lub ulubionego edytora kodu, oraz dowolną liczbę plików zawartości, które aparat Unity tworzy podczas tworzenia scen, animacji i innych typów zasobów aparatu Unity w edytorze.

Aby kompilować i wdrażać aplikacje platformy uniwersalnej systemu Windows, unity może wyeksportować projekt jako Visual Studio, które będzie zawierać wszystkie niezbędne pliki zasobów i kodu.

  1. Uruchamianie aparatu Unity
  2. Wybierz pozycję Nowy
  3. Wprowadź nazwę projektu (np. "MixedRealityIntroduction")
  4. Wprowadź lokalizację do zapisania projektu
  5. Upewnij się, że wybrano przełącznik 3D
  6. Wybieranie opcji Utwórz projekt

Gratulacje, teraz wszystko jest w stanie rozpocząć pracę z dostosowaniami rzeczywistości mieszanej.

Rozdział 2 — Konfigurowanie aparatu fotograficznego

Kamera główna aparatu Unity obsługuje śledzenie głowy i renderowanie stereoskopowe. Istnieje kilka zmian, które należy wprowadzić w aparacie głównym, aby używać go z rzeczywistością mieszaną.

  1. Wybierz pozycję Plik > nowej scenie

Po pierwsze łatwiej będzie określić aplikację, jeśli wyobraź sobie pozycję początkową użytkownika jako (X: 0, Y: 0, Z: 0). Ponieważ kamera główna śledzi ruch głowy użytkownika, pozycję początkową użytkownika można ustawić, ustawiając pozycję początkową aparatu głównego.

  1. Wybieranie opcji Kamera główna na panelu Hierarchia
  2. Na panelu Inspector (Inspektor) znajdź składnik Transform (Przekształć) i zmień pozycję z (X: 0, Y: 1, Z: -10) na (X: 0, Y: 0, Z: 0)

Po drugie domyślne tło aparatu wymaga przemyślenia.

W HoloLens rzeczywisty świat powinien pojawić się za wszystkim, co renderuje aparat, a nie za teksturą Skybox.

  1. Mając nadal wybraną opcję Kamera główna na panelu Hierarchia, znajdź składnik Aparat na panelu Inspector (Inspektor) i zmień menu rozwijane Clear Flags (Wyczyść flagi) z Skybox na Solid Color (Pełny kolor).
  2. Wybierz selektor koloru tła i zmień wartości RGBA na (0, 0, 0, 0)

W przypadku aplikacji rzeczywistości mieszanej skierowanych do immersywnych zestawów nagłownych możemy użyć domyślnej tekstury Skybox zapewnianej przez platformę Unity.

  1. Mając nadal wybraną opcję Kamera główna na panelu Hierarchia, znajdź składnik Aparat na panelu Inspector (Inspektor) i zachowaj menu rozwijane Clear Flags (Wyczyść flagi) w chmurze Skybox ( Skybox).

Po trzecie rozważmy bliską płaszczyznę przycinania w a aparatu Unity i zapobiegamy renderowaniu obiektów zbyt blisko oczu użytkowników, gdy użytkownik zbliża się do obiektu lub obiektu zbliża się do użytkownika.

W HoloLens 0,85 m można ustawić płaszczyznę blisko klipu na HoloLens 0,85 m.

  1. Mając nadal wybraną opcję Kamera główna na panelu Hierarchia, znajdź składnik Aparat na panelu Inspector (Inspektor) i zmień pole Near Clip Plane (Blisko płaszczyzny klipu) z domyślnej wartości 0,3 na zalecaną HoloLens 0,85.

W przypadku aplikacji rzeczywistości mieszanej skierowanych do immersywnych zestawów nagłownych możemy użyć ustawienia domyślnego, które zapewnia unity.

  1. Mając nadal wybraną opcję Kamera główna na panelu Hierarchia, znajdź składnik Aparat na panelu Inspector (Inspektor) i zachowaj wartość domyślną pola Near Clip Plane (Blisko płaszczyzny klipu) na wartość 0,3.

Na koniec zapiszmy postęp do tej pory. Aby zapisać zmiany sceny, wybierz pozycję Plik > Zapisz scenę jako, nadaj scenie nazwę Main i wybierz pozycję Zapisz.

Rozdział 3 — Konfigurowanie Project Ustawienia

W tym rozdziale ustawimy ustawienia projektu aparatu Unity, które pomogą nam ukierunkować Windows Holographic SDK na rozwój. Ustawimy również pewne ustawienia jakości dla naszej aplikacji. Na koniec upewnimy się, że nasze cele kompilacji zostały ustawione na wartość Universal Windows Platform.

Ustawienia wydajności i jakości aparatu Unity

Ustawienia jakości aparatu Unity dla HoloLens

Ustawienia jakości aparatu Unity dla HoloLens

Ponieważ utrzymywanie wysokiej prędkości klatek na HoloLens jest tak ważne, chcemy, aby ustawienia jakości dostrojone pod kątem najszybszej wydajności. Aby uzyskać bardziej szczegółowe informacje o wydajności, zalecenia dotyczące wydajności dla aparatu Unity.

  1. Wybierz pozycję Edytuj > Project Ustawienia > jakości
  2. Wybierz menu rozwijane w obszarze logo platformy Windows platformie uniwersalnej, a następnie wybierz pozycję Bardzo niska. Będziesz wiedzieć, że ustawienie jest stosowane poprawnie, gdy pole w kolumnie Platforma uniwersalna Windows i bardzo niski wiersz ma kolor zielony.

W przypadku aplikacji rzeczywistości mieszanej skierowanych do ekranów z oknem można pozostawić wartości domyślne ustawień jakości.

Docelowy Windows 10 SDK

Target Windows Holographic SDK

Target Windows Holographic SDK

Musimy wiedzieć, że aplikacja, która próbujesz wyeksportować, powinna utworzyć widok immersyjny, a nie widok 2D. Możemy to zrobić, włączając obsługę rzeczywistości wirtualnej na platformie Unity dla zestawu WINDOWS 10 SDK.

  1. Przejdź do menu Edit > Project Ustawienia > Player (Edytuj > Project Ustawienia > Player).
  2. W panelu Inspector panel for Player Ustawienia (Panel inspektora dla odtwarzacza) wybierz ikonę Windows Platformy uniwersalnej.
  3. Rozwiń grupę Ustawienia XR.
  4. W sekcji Renderowanie zaznacz pole wyboru Virtual Reality Supported (Obsługiwana rzeczywistość wirtualna), aby dodać nową listę zestawów SDK rzeczywistości wirtualnej.
  5. Sprawdź, Windows Mixed Reality jest wyświetlana na liście. Jeśli nie, wybierz przycisk w dolnej części listy, a + następnie wybierz pozycję Windows Mixed Reality.

Uwaga

Jeśli nie widzisz ikony platformy Windows platformie uniwersalnej, upewnij się, że wybrano opcję Obsługa kompilacji platformy Windows platformie uniwersalnej podczas instalacji. Jeśli nie, może być konieczne ponowne zainstalowanie aparatu Unity z poprawną Windows instalacji.

Świetny pomysł na zastosowanie wszystkich ustawień projektu. Następnie dodajmy hologram!

Rozdział 4 . Tworzenie modułu

Tworzenie modułu w projekcie aparatu Unity jest podobne do tworzenia dowolnego innego obiektu w a aparatu Unity. Umieszczenie sześcianu przed użytkownikiem jest łatwe, ponieważ układ współrzędnych aparatu Unity jest mapowany na świat rzeczywisty — gdzie jeden miernik w a unity to około jeden miernik w świecie rzeczywistym.

  1. W lewym górnym rogu panelu Hierarchy (Hierarchia) wybierz menu rozwijane Create (Utwórz), a następnie wybierz pozycję 3D Object > Cube (Moduł obiektów 3D).
  2. Wybierz nowo utworzony moduł w panelu Hierarchia
  3. W inspektorze znajdź składnik Przekształć i zmień pozycję na (X: 0, Y: 0, Z: 2). To umieszcza sześcian 2 metry przed pozycjami początkowymi użytkownika.
  4. W składniku Przekształć zmień rotację na (X: 45, Y: 45, Z: 45) i zmień skalę na (X: 0,25, Y: 0,25, Z: 0,25). Pozwala to skalować sześcian do 0,25 m.
  5. Aby zapisać zmiany sceny, wybierz pozycję Plik > Zapisz scenę.

Rozdział 5 — Weryfikowanie na urządzeniu za pomocą edytora aparatu Unity

Teraz, po utworzeniu modułu, nas czas na szybkie zaewidencjonienie urządzenia. Można to zrobić bezpośrednio z poziomu edytora aparatu Unity.

Konfiguracja początkowa

  1. Na komputerze dewelopera w a aparatu Unity otwórz okno > Build Ustawienia.
  2. Zmień platformę na universal Windows platform i kliknij pozycję Switch Platform (Przełącz platformę)

Na HoloLens komunikacji zdalnej aparatu Unity

  1. Na komputerze HoloLens i uruchom aplikację Holographic Remoting Playerdostępną w sklepie Windows Store. Uruchom aplikację na urządzeniu. Spowoduje to wprowadzenie stanu oczekiwania i pokazanie adresu IP urządzenia. Zanotuj adres IP.
  2. Otwórz okno > XR > emulacji holograficznej.
  3. Zmień tryb emulacji z Brak na Zdalny na Urządzenie.
  4. W maszynie zdalnej wprowadź wcześniej zanotowyny adres IP HoloLens adres IP.
  5. Kliknij przycisk Połącz.
  6. Upewnij się, że stan połączenia zmieni się na zielony Połączony.
  7. Teraz możesz kliknąć przycisk Odtąd w edytorze aparatu Unity.

Teraz moduł będzie można zobaczyć na urządzeniu i w edytorze. Możesz wstrzymywać, sprawdzać obiekty i debugować tak jak uruchamiasz aplikację w edytorze, ponieważ to właśnie się dzieje, ale w przypadku danych wejściowych wideo, audio i danych wejściowych urządzenia przesyłanych tam i z powrotem przez sieć między maszyną hosta a urządzeniem.

W przypadku innych zestawów nagłownych obsługiwanych w rzeczywistości mieszanej

  1. Połączenie zestawu nagłownego do komputera dewelopera przy użyciu kabla USB i KABLA lub kabla portu wyświetlania.
  2. Uruchom Portal rzeczywistości mieszanej i upewnij się, że ukończono środowisko pierwszego uruchomienia.
  3. Z aparatu Unity możesz teraz nacisnąć przycisk Odtąd.

Teraz będzie można zobaczyć renderowanie sześcianu w zestawie nagłownym rzeczywistości mieszanej i w edytorze.

Rozdział 6 — Kompilowanie i wdrażanie na urządzeniu z Visual Studio

Jesteśmy teraz gotowi do skompilowania projektu w celu Visual Studio wdrożenia na urządzeniu docelowym.

Eksportowanie do Visual Studio rozwiązania

  1. Otwórz okno > kompilowania Ustawienia plików.
  2. Kliknij pozycję Dodaj otwarte sceny, aby dodać scenę.
  3. Zmień platformę na Universal Windows Platform i kliknij pozycję Switch Platform (Przełącz platformę).
  4. W ustawieniach platformy Windows platformie uniwersalnej upewnij się, że zestaw SDK jest uniwersalny 10.
  5. W polu Urządzenie docelowe pozostaw wartość Dowolne urządzenie, aby uzyskać okludne ekrany, lub przełącz się na HoloLens.
  6. Typem kompilacji platformy uniwersalnej systemu Windows powinna być D3D.
  7. Zestaw SDK platformy uniwersalnej systemu Windows można pozostawić na stronie Najnowsza zainstalowana wersja.
  8. Kliknij pozycję Build (Kompilacja).
  9. W Eksploratorze plików kliknij pozycję Nowy folder i nadaj folderowi nazwę "Aplikacja".
  10. Po wybraniu folderu Aplikacja kliknij przycisk Wybierz folder.
  11. Po sbudowania aparatu Unity zostanie Windows Eksplorator plików okno.
  12. Otwórz folder App w Eksploratorze plików.
  13. Otwórz wygenerowane rozwiązanie Visual Studio (MixedRealityIntroduction.sln w tym przykładzie)

Kompilowanie Visual Studio rozwiązania

Na koniec skompilujemy wyeksportowane Visual Studio, wdrożymy je i wypróbujemy na urządzeniu.

  1. Korzystając z górnego paska narzędzi w Visual Studio, zmień element docelowy z Debugowanie na Wydanie, a z ARM na X86.

Instrukcje dotyczące wdrażania na urządzeniu różnią się od instrukcji w emulatorze. Postępuj zgodnie z instrukcjami, które są zgodne z konfiguracją.

Wdrażanie na urządzeniu rzeczywistości mieszanej za pośrednictwem Wi-Fi

  1. Kliknij strzałkę obok przycisku Komputer lokalny i zmień element docelowy wdrożenia na Komputer zdalny.
  2. Wprowadź adres IP urządzenia rzeczywistości mieszanej i zmień wartość ustawienia Tryb uwierzytelniania na Universal (Unencrypted Protocol) dla HoloLens i Windows dla innych urządzeń.
  3. Kliknij pozycję Debuguj > Rozpocznij bez debugowania.

W HoloLens, jeśli jest to pierwsze wdrożenie na urządzeniu, należy parować przy użyciu Visual Studio .

Wdrażanie na urządzeniu rzeczywistości mieszanej za pośrednictwem portu USB

Upewnij się, że urządzenie jest podłączone za pośrednictwem kabla USB.

  1. W HoloLens kliknij strzałkę obok przycisku Komputer lokalny i zmień element docelowy wdrożenia na Urządzenie.
  2. W przypadku określania urządzeń occluded dołączonych do komputera zachowaj ustawienie Komputer lokalny. Upewnij się, że masz Portal rzeczywistości mieszanej uruchomione.
  3. Kliknij pozycję Debuguj > Rozpocznij bez debugowania.

Wdrażanie w Emulator

  1. Kliknij strzałkę obok przycisku Urządzenie, a następnie z listy rozwijanej wybierz pozycję HoloLens Emulator.
  2. Kliknij pozycję Debuguj > Rozpocznij bez debugowania.

Wypróbuj aplikację

Teraz, gdy aplikacja została wdrożona, spróbuj poruszać się po całym module i zauważ, że pozostaje ona na świecie przed toem.

Zobacz też