Konfigurowanie nowego projektu OpenXR przy użyciu zestawu narzędzi MRTK

  • Artykuł

Najprostszym sposobem skonfigurowania projektu aparatu Unity na potrzeby rzeczywistości mieszanej jest użycie zestawu narzędzi Mixed Reality Toolkit (MRTK). Zestaw narzędzi MRTK dla aparatu Unity to międzyplatformowy zestaw deweloperów typu open source, który ułatwia tworzenie niesamowitych aplikacji rzeczywistości mieszanej.

Infografika przedstawiająca niektóre funkcje zestawu narzędzi Mixed Reality Toolkit.

Zestaw narzędzi MRTK udostępnia międzyplatformowy system wejściowy, podstawowe składniki i typowe bloki konstrukcyjne na potrzeby interakcji przestrzennych. Może to pomóc przyspieszyć tworzenie aplikacji dla Microsoft HoloLens, Windows Mixed Reality immersywnych zestawów słuchawkowych (VR) i wielu innych urządzeń VR/AR. Projekt ma na celu zmniejszenie barier w wjazdu, umożliwiając wszystkim tworzenie aplikacji rzeczywistości mieszanej i współtworzenie społeczności w miarę rozwoju.

Zestaw narzędzi MRTK obsługuje szeroką gamę platform, w tym:

  • Microsoft HoloLens

  • Microsoft HoloLens 2

  • Zestawy nagłowne Windows Mixed Reality

  • Zestawy nagłowne OpenVR (HTC Vive/Oculus Rift)

  • Ultraleap Hand Tracking

  • Urządzenia z systemem Android i iOS

Uwaga

Niedawno wprowadziliśmy zestaw NARZĘDZI MRTK3, trzeciej generacji zestawu narzędzi Microsoft Mixed Reality Toolkit for Unity opartego na systemie XR Management aparatu Unity i zestawie narzędzi XR Interaction Toolkit, z lepszą obsługą różnych urządzeń zgodnych z biblioteką OpenXR i nowym językiem projektowania. Aby uzyskać więcej informacji, zobacz dokumentację zestawu narzędzi MRTK3.

Uwaga

Możesz również skonfigurować nowy projekt OpenXR bez zestawu narzędzi MRTK.

Inne opcje konfiguracji inne niż OpenXR do rozważenia

Windows XR: firma Microsoft nie zaleca używania wtyczki XR systemu Windows dla nowych projektów w apletie Unity 2020. Zamiast tego należy użyć wtyczki Mixed Reality OpenXR. Jeśli jednak używasz aparatu Unity 2019 i potrzebujesz programu AR Foundation 2.0 w celu zapewnienia zgodności z urządzeniami ARCore/ARKit, ta wtyczka umożliwia obsługę.

Ważne

Używanie tej wtyczki w środowisku Unity 2019 nie jest zgodne z usługą Azure Spatial Anchors.

Starsza wersja XR:

Jeśli nadal korzystasz z aparatu Unity 2019 lub starszego, firma Microsoft zaleca korzystanie z obsługi starszej wbudowanej wersji XR. Chociaż wtyczka XR systemu Windows działa w środowisku Unity 2019, nie zalecamy jej, ponieważ nie jest ona zgodna z usługą Azure Spatial Anchors w środowisku Unity 2019.

Jeśli rozpoczynasz nowy projekt, zalecamy zainstalowanie aparatu Unity 2020 zamiast tego i użycie wtyczki Mixed Reality OpenXR.

Wprowadzenie do platformy OpenXR: tworzenie nowego projektu aparatu Unity

  1. Uruchom usługę Unity Hub.

  2. Na karcie Projekty kliknij pozycję Nowy projekt.

    Zrzut ekranu przedstawiający usługę Unity Hub na karcie Projekty z wyróżnionym przyciskiem Nowy projekt.

  3. Kliknij listę rozwijaną poniżej pozycji Nowy projekt , a następnie wybierz odpowiednią wersję edytora.

    Zrzut ekranu usługi Unity Hub z wyświetloną listą rozwijaną Wersja edytora.

  4. Upewnij się, że wybrany szablon ma wartość 3D Core.

  5. W polu Nazwa projektu wprowadź nazwę projektu — na przykład "MRTK Tutorial".

  6. W polu Lokalizacja kliknij ikonę folderu, a następnie przejdź do folderu, w którym chcesz zapisać projekt i wybierz go. Możesz również utworzyć nowy folder.

    Zrzut ekranu usługi Unity Hub z wyróżnioną pozycją Nazwa projektu, Lokalizacja i Utwórz.

  7. Kliknij pozycję Create Project (Utwórz projekt). Spowoduje to otwarcie projektu w administracyjnych środowiska Unity.

    Zrzut ekranu przedstawiający otwarty projekt w a środowisku Unity.

Przestroga

W przypadku pracy z systemem Windows istnieje limit MAX_PATH wynoszący 255 znaków. Te limity mają wpływ na aparat Unity, a kompilacja może zakończyć się niepowodzeniem, jeśli dowolna ścieżka pliku jest dłuższa niż 255 znaków. Dlatego zalecamy przechowywanie projektu aparatu Unity tak blisko katalogu głównego dysku, jak to możliwe.

Ustawianie celu kompilacji

  1. Na pasku menu wybierz pozycjęUstawienia kompilacjipliku>....

    Aby utworzyć aplikację dla Windows Mixed Reality, musisz wybrać element docelowy kompilacji. Ustawienia kompilacji dla platformy platforma uniwersalna systemu Windows (UWP) są przeznaczone dla dowolnego urządzenia, w tym immersywnych zestawów słuchawkowych, takich jak HP Reverb G2. Jest to najlepszy wybór, jeśli tworzysz dla HoloLens 2. Jeśli jednak jesteś przeznaczony dla komputerów stacjonarnych VR, zalecamy korzystanie z komputera PC, Mac & platformy autonomicznej systemu Linux.

  2. Wykonaj jedną z następujących czynności:

    Jeśli jesteś ukierunkowany na desktop VR:

    • Zachowaj komputer PC, Mac & autonomiczną platformę Linux, która jest domyślnie wybierana w nowym projekcie aparatu Unity:

    Zrzut ekranu przedstawiający okno Ustawienia kompilacji otwarte w edytorze aparatu Unity z wyróżnioną pozycją Komputer Mac & Autonomiczna platforma

    Jeśli celujesz w HoloLens 2:

    • W obszarze Platforma wybierz pozycję platforma uniwersalna systemu Windows. Upewnij się, że następujące ustawienia są aktywne:

    Typ kompilacji: Projekt D3D

    Docelowa wersja zestawu SDK: najnowsza zainstalowana

    Minimalna wersja platformy: 10.0.10240.0

    Wersja programu Visual Studio: zainstalowana najnowsza wersja

    Zrzut ekranu przedstawiający okno Ustawienia kompilacji otwarte w edytorze aparatu Unity z wyróżnioną platforma uniwersalna systemu Windows.

  3. Kliknij przycisk Przełącz platformę . Aparat Unity wyświetla pasek postępu, gdy przełącza platformy.

  4. Po zakończeniu procesu przełączania platformy zamknij okno Ustawienia kompilacji .

Pobieranie i instalowanie narzędzia funkcji Mixed Reality

Wtyczka openXR Mixed Reality jest w formie pakietu dla aparatu Unity. Najlepszym sposobem odnajdywania, aktualizowania i importowania pakietów funkcji jest użycie narzędzia Mixed Reality Feature Tool. Pakiety można wyszukiwać według nazwy lub kategorii, wyświetlać ich zależności i wyświetlać proponowane zmiany w pliku manifestu projektu przed zaimportowaniem.

  1. Pobierz najnowszą wersję narzędzia Mixed Reality Feature Tool z Centrum pobierania Microsoft.

  2. Po zakończeniu pobierania przejdź do pliku wykonywalnego MixedRealityFeatureTool.exe, a następnie użyj go do uruchomienia narzędzia funkcji Mixed Reality.

    Zrzut ekranu przedstawiający otwieranie narzędzia MixedRealityFeatureTool.

Importowanie pakietów Mixed Reality Toolkit i OpenXR

  1. W narzędziu funkcji Mixed Reality wybierz pozycję Uruchom.

    Zrzut ekranu przedstawiający ekran otwierania narzędzia funkcji Mixed Reality.

  2. Wybierz przycisk Przeglądaj (jest to przycisk "trzy kropki" na poniższej ilustracji), a następnie przejdź do projektu, a następnie otwórz go.

    Otwieranie projektu

    Uwaga

    Pole Ścieżka projektu w narzędziu musi zawierać wartość, więc domyślnie wstawia ukośnik odwrotny ("_").

    Po wybraniu folderu narzędzie sprawdza, czy jest to prawidłowy folder projektu aparatu Unity.

    Zrzut ekranu przedstawiający ekran ścieżka projektu narzędzia Mixed Reality.

  3. Wybierz pozycję Odnajdź funkcje.

    Uwaga: może być konieczne odczekanie kilku sekund, gdy narzędzie odświeża pakiety z kanałów informacyjnych.

  4. Na stronie Odnajdywanie funkcji zwróć uwagę, że istnieje lista sześciu grup pakietów.

    Główne grupy pakietów w narzędziu Mixed Reality Feature Tool

  5. Kliknij przycisk "+" po lewej stronie Mixed Reality Toolkit (0 z 10), a następnie wybierz najnowszą wersję Mixed Reality Toolkit Foundation.

    Uwaga

    Pakiet Mixed Reality Toolkit Foundation jest jedynym pakietem, który należy zaimportować i skonfigurować w celu korzystania z zestawu narzędzi MRTK w projekcie. Ten pakiet zawiera podstawowe składniki wymagane do utworzenia aplikacji rzeczywistości mieszanej.

  6. Kliknij przycisk "+" po lewej stronie pozycji Obsługa platformy (0 z 5), a następnie wybierz najnowszą wersję wtyczki Mixed Reality OpenXR.

    Zrzut ekranu przedstawiający opcje pakietów w narzędziu Mixed Reality Feature Tool.

  7. Po wybraniu opcji kliknij pozycję Pobierz funkcje.

  8. Wybierz pozycję Weryfikuj , aby zweryfikować wybrane pakiety. Powinno zostać wyświetlone okno dialogowe z komunikatem Nie wykryto problemów z walidacją. Gdy to zrobisz, kliknij przycisk OK.

  9. Na stronie Importowanie funkcji lewa kolumna Funkcje wyświetla właśnie wybrane pakiety. Kolumna po prawej stronie, Wymagane zależności, wyświetla wszystkie zależności. Możesz kliknąć link Szczegóły dla dowolnego z tych elementów, aby dowiedzieć się więcej o nich.

  10. Gdy wszystko będzie gotowe do przejścia, wybierz pozycję Importuj. Na stronie Przeglądanie i zatwierdzanie możesz przejrzeć informacje o pakietach.

  11. Wybierz pozycję Zatwierdź.

  12. Wróć do edytora aparatu Unity i kliknij pusty obszar w interfejsie użytkownika. Zostanie wyświetlony pasek postępu pokazujący, że pakiety są importowane.

Konfigurowanie ustawień zaplecza wejściowego

  1. Po zaimportowaniu pakietu przez środowisko Unity zostanie wyświetlone ostrzeżenie z pytaniem, czy chcesz włączyć zaplecze, uruchamiając ponownie edytor. Wybierz pozycję Tak.

    Zrzut ekranu przedstawiający opcję ponownego uruchomienia aparatu Unity.

Konfigurowanie projektu dla HoloLens 2 za pomocą weryfikacji projektu (MR OpenXR 1.6+)

Jeśli tworzysz aplikację wirtualną dla komputerów stacjonarnych, pomiń tę sekcję i przejdź do sekcji Konfigurowanie projektu dla pulpitu VR.

  1. Na pasku menu kliknij pozycję Mixed Reality > Ustawienia > weryfikacji projektu HoloLens 2 aplikacji (UWP), aby włączyć reguły sprawdzania poprawności dla HoloLens 2. W przypadku wtyczek MR OpenXR przed wersją 1.9 dostępny element menu jest Mixed Reality > Project > Zastosuj zalecane ustawienia projektu dla HoloLens 2.
  2. W oknie weryfikacji projektu, które zostanie wyświetlone, upewnij się, że jesteś na karcie platformy uwP (wskazanej przez logo systemu Windows), a następnie kliknij przycisk Rozwiąż wszystkie , aby rozwiązać problemy z walidacją. Należy pamiętać, że po kliknięciu pozycji Napraw wszystko mogą występować problemy, które pozostają. W takim przypadku spróbuj ponownie kliknąć pozycję Napraw wszystko , zignoruj wszelkie problemy oznaczone jako "specyficzne dla sceny" (jeśli istnieją) i przejrzyj pozostałe problemy (jeśli istnieją), aby sprawdzić, czy istnieją jakieś sugerowane zmiany, które chcesz wprowadzić.
  3. W tym momencie projekt jest prawie gotowy do wdrożenia HoloLens 2. Przejdź do sekcji Konfigurowanie ustawień odtwarzacza w następnym kroku.

Ręczne konfigurowanie projektu dla HoloLens 2

Jeśli tworzysz aplikację wirtualną dla komputerów stacjonarnych, pomiń tę sekcję i przejdź do sekcji Konfigurowanie projektu dla pulpitu VR.

  1. Upewnij się, że okno Ustawienia projektu jest otwarte. Jeśli nie, na pasku menu wybierz pozycję Edytuj>ustawienia projektu.

  2. W oknie Ustawienia projektu upewnij się, że jesteś na stronie Zarządzanie wtyczką XR i na karcie platforma uniwersalna systemu Windows.

    Zrzut ekranu przedstawiający okno Ustawienia projektu otwarte na stronie zarządzania wtyczką XR i na karcie platforma uniwersalna systemu Windows.

  3. Upewnij się, że wybrano opcję Zainicjuj XR podczas uruchamiania , a następnie w obszarze Dostawcy wtyczek kliknij pozycję OpenXR.

    Zrzut ekranu przedstawiający okno Ustawienia projektu w platforma uniwersalna systemu Windows z wybraną pozycją Inicjuj XR podczas uruchamiania i wyróżnioną wtyczką OpenXR.

  4. Wtyczka OpenXR ładuje się, a następnie wiele elementów jest wyświetlanych poniżej biblioteki OpenXR. Wybierz Microsoft HoloLens grupę funkcji.

    Zrzut ekranu przedstawiający okno Ustawienia projektu z wyróżnioną wtyczką OpenXR i wyróżnioną grupą funkcji Microsoft HoloLens.

Należy pamiętać, że obok pozycji OpenXR znajduje się żółty trójkąt ostrzegawczy. Oznacza to, że masz niezgodne ustawienia, które należy rozwiązać. Aby dowiedzieć się, jak rozwiązać ten problem, pomiń następną sekcję dotyczącą konfigurowania środowiska VR i kontynuuj pracę z poniższą sekcją Rozwiązywanie niezgodnych ustawień.

Konfigurowanie projektu dla pulpitu VR za pomocą weryfikacji projektu (MR OpenXR 1.9+)

  1. Na pasku menu kliknij pozycję Mixed Reality > Ustawienia > walidacji projektu Win32 Application (autonomiczna), aby włączyć reguły sprawdzania poprawności dla aplikacji XR dla komputerów stacjonarnych.
  2. W oknie weryfikacji projektu, które zostanie wyświetlone, upewnij się, że jesteś na karcie Platforma autonomiczna, a następnie kliknij przycisk Napraw wszystko , aby rozwiązać problemy z walidacją. Należy pamiętać, że po kliknięciu pozycji Napraw wszystko mogą występować problemy, które pozostają. W takim przypadku spróbuj ponownie kliknąć pozycję Napraw wszystko , zignoruj wszelkie problemy oznaczone jako "specyficzne dla sceny" (jeśli istnieją) i przejrzyj pozostałe problemy (jeśli istnieją), aby sprawdzić, czy istnieją jakieś sugerowane zmiany, które chcesz wprowadzić.

Ręczne konfigurowanie projektu dla pulpitu VR

  1. Upewnij się, że okno Ustawienia projektu jest otwarte. Jeśli nie, przejdź do paska menu, wybierz pozycję Edytuj>ustawienia projektu.

  2. W oknie Ustawienia projektu upewnij się, że jesteś na stronie Zarządzanie wtyczką XR i na komputerze PC, mac & Linux Standalone kartę.

    Zrzut ekranu przedstawiający okno Ustawienia projektu otwarte na stronie zarządzania wtyczkami XR i komputerze MAC & autonomicznej wersji systemu Linux.

  3. Upewnij się, że wybrano opcję Zainicjuj XR podczas uruchamiania , a następnie w obszarze Dostawcy wtyczek kliknij pozycję OpenXR.

    Zrzut ekranu przedstawiający okno Ustawienia projektu na karcie Komputer PC, Mac & Autonomiczny system Linux z wybraną pozycją Inicjowanie XR podczas uruchamiania i wyróżnioną wtyczką OpenXR.

  4. Wtyczka OpenXR ładuje się, a następnie dwa elementy są wyświetlane poniżej biblioteki OpenXR. Wybierz pierwszą grupę funkcji Windows Mixed Reality.

    Zrzut ekranu przedstawiający okno Ustawień projektu wyróżnioną wtyczkę OpenXR i grupę funkcji Windows Mixed Reality.

Pamiętaj, że obok pozycji OpenXR znajduje się żółty trójkąt ostrzegawczy. Oznacza to, że masz niezgodne ustawienia, które należy rozwiązać. Aby dowiedzieć się, jak rozwiązać ten problem, przejdź do następnej sekcji Rozwiązywanie niezgodnych ustawień.

Rozwiązywanie niezgodnych ustawień

Ważne

Obrazy w tej sekcji pokazują opcje na karcie platforma uniwersalna systemu Windows. Jednak instrukcje są takie same dla karty Vr pulpitu, z wyjątkiem przypadków, w których zostały zanotowane.

  1. Umieść kursor nad żółtym trójkątem ostrzegawczym obok pozycji OpenXR, a następnie odczytaj komunikat w oknie podręcznym, a następnie wybierz trójkąt.

    Zrzut ekranu przedstawiający ostrzeżenie dotyczące niezgodnych ustawień.

  2. W oknie Walidacja projektu OpenXR znajduje się kilka problemów. Wybierz przycisk Napraw wszystko . UWAGA: Ta lista może wyglądać inaczej w zależności od karty, w której się znajdujesz.

    Zrzut ekranu przedstawiający przycisk Napraw wszystko w oknie Walidacja projektu OpenXR.

  3. Jeden problem pozostaje i informuje o tym, że musisz dodać co najmniej jeden profil interakcji. W tym celu kliknij przycisk Edytuj. Spowoduje to przejście do ustawień wtyczki OpenXR w oknie Ustawienia projektu .

    Zrzut ekranu przedstawiający okno Ustawienia projektu z wyświetlonymi ustawieniami openXR.

  4. W obszarze Profile interakcji zanotuj przycisk plus (+).

    Zrzut ekranu przedstawiający przycisk Dodaj profil interakcji.

  5. Kliknij przycisk trzy razy, przy każdym wybraniu innego profilu:

    Profil interakcji wzroku

    Profil interakcji z ręką firmy Microsoft

    Profil kontrolera ruchu firmy Microsoft

    Zrzut ekranu przedstawiający profile interakcji, które powinny zostać dodane.

    Jeśli profil interakcji oka lub dowolny inny profil pojawi się z żółtym trójkątem obok niego, wybierz trójkąt, a następnie w oknie Walidacja projektu OpenXR kliknij przycisk Napraw . Po zakończeniu zamknij okno Walidacja projektu OpenXR .

    Zrzut ekranu przedstawiający przycisk Napraw dla profilu interakcji z spojrzeniem na oko.

  6. W oknie Ustawienia projektu w obszarze Grupy funkcji OpenXR upewnij się, że wybrano następujące opcje:

    Jeśli jesteś na karcie Pulpit VR:

    Windows Mixed Reality

    Śledzenie rąk

    Model kontrolera ruchu

    Zrzut ekranu przedstawiający kartę Grupy funkcji OpenXR dla pulpitu VR.

    Jeśli jesteś na karcie platforma uniwersalna systemu Windows:

    Microsoft HoloLens

    Śledzenie rąk

    Model kontrolera ruchu

    Zrzut ekranu przedstawiający wybrane funkcje dla biblioteki OpenXR.

  7. Kliknij listę rozwijaną Tryb przesyłania głębokości , a następnie wybierz pozycję Głębokość 16-bitowa.

    Zrzut ekranu przedstawiający opcję Głębokość 16-bitowa wybrana dla trybu przesyłania głębokości.

    Porada

    Zmniejszenie formatu głębokości do 16-bitowego jest opcjonalne, ale może poprawić wydajność grafiki w projekcie. Aby dowiedzieć się więcej, zobacz Udostępnianie buforów głębokości (HoloLens).

    Uwaga

    Ustawienie Tryb renderowania znajdujące się tuż nad trybem przesyłania głębokości jest domyślnie ustawione na pojedyncze wystąpienie z przekazywaniem. W aplikacjach rzeczywistości mieszanej scena jest renderowana dwa razy: raz dla każdego oka. Wynikiem jest "wizja steroskopowa". To podwaja ilość niezbędnych obliczeń, dlatego ważne jest, aby wybrać najbardziej wydajną ścieżkę renderowania w środowisku Unity, aby zaoszczędzić zarówno na czasie procesora CPU, jak i procesora GPU. Renderowanie pojedynczego wystąpienia jest najlepszym wyborem tutaj — zalecamy włączenie go domyślnie dla każdego projektu. Aby dowiedzieć się więcej na ten temat, zobacz dokumentację aparatu Unity.

Konfigurowanie ustawień odtwarzacza

  1. W lewej kolumnie okna Ustawienia projektu wybierz pozycję Odtwarzacz.

  2. Zwróć uwagę, że w oknie Odtwarzacz pole Nazwa produktu jest już wypełnione. Zostanie ona pobrana z nazwy projektu i będzie nazwą wyświetlaną w menu Start urządzenia HoloLens.

    Zrzut ekranu przedstawiający ustawienia publikowania aparatu Unity z wypełnionym polem Nazwa projektu.

    Porada

    Aby ułatwić znajdowanie aplikacji podczas programowania, dodaj podkreślenie przed nazwą, aby posortować ją na początku dowolnej listy.

  3. Kliknij listę rozwijaną Ustawienia publikowania , a następnie w polu Nazwa pakietu wprowadź odpowiednią nazwę.

    Zrzut ekranu przedstawiający ustawienia publikowania aparatu Unity z wypełnionym polem nazwy pakietu.

    Uwaga

    Nazwa pakietu jest unikatowym identyfikatorem aplikacji. Jeśli chcesz uniknąć zastępowania wcześniej zainstalowanych wersji aplikacji o tej samej nazwie, należy zmienić ten identyfikator przed wdrożeniem aplikacji.

  4. Zamknij okno Ustawienia projektu .

Teraz możesz rozpocząć programowanie za pomocą biblioteki OpenXR w środowisku Unity!

Przykładowe projekty aparatu Unity

Zapoznaj się z repozytorium przykładów openXR Mixed Reality, aby zapoznać się z przykładowymi projektami aparatu Unity pokazującymi, jak tworzyć aplikacje aparatu Unity dla zestawów słuchawkowych HoloLens 2 lub Mixed Reality przy użyciu wtyczki Mixed Reality OpenXR.

Zobacz też