Korzystanie z aparatu Vuforia z aparatem Unity

  • Artykuł

Aparat Vuforia zapewnia ważną możliwość urządzenia HoloLens — możliwości łączenia środowisk AR z określonymi obrazami i obiektami w środowisku. Za pomocą tej możliwości można nakładać instrukcje krok po kroku dotyczące maszyn dla przedsiębiorstwa przemysłowego lub dodać funkcje cyfrowe i środowiska do produktu fizycznego lub gry.

Vuforia Engine oferuje szeroką gamę funkcji i celów, aby proces tworzenia oprogramowania AR był bardziej elastyczny. Jedną z naszych najnowszych funkcji, Vuforia Model Targets, jest kluczową funkcją zarówno w przypadku zastosowań komercyjnych, jak i przemysłowych. Cele modelu umożliwiają aplikacjom rozpoznawanie obiektów fizycznych, takich jak maszyny, samochody lub zabawki, i śledzenie ich na podstawie modelu CAD lub cyfrowego 3D. W przypadku zastosowań przemysłowych ta funkcja może zapewnić pracownikom montażowym i technikom serwisowym instrukcje pracy AR oraz wskazówki proceduralne podczas pracy w fabryce lub w terenie.

Istniejące aplikacje aparatu Vuforia, które zostały utworzone dla telefonów i tabletów, można łatwo skonfigurować w środowisku Unity do uruchamiania na urządzeniu HoloLens. Możesz nawet użyć aparatu Vuforia, aby zabrać nową aplikację HoloLens do Windows 10 tabletów, takich jak Surface Pro i Surface Book.

Pobieranie narzędzi

Zainstaluj zalecane wersje programów Visual Studio i Unity, a następnie skonfiguruj środowisko Unity do korzystania z programu Visual Studio oraz preferowanego środowiska IDE i kompilatora.

Podczas instalowania aparatu Unity pamiętaj o zainstalowaniu zaplecza skryptów IL2CPP ze Sklepu Windows.

Dodaj pakiet aparatu Vuforia, zgodnie z opisem tutaj.

Wprowadzenie do aparatu Vuforia

Najlepszym punktem wyjścia do nauki o aparatach Vuforia Engine i HoloLens jest przykład Vuforia Engine HoloLens (dostępny w sklepie Unity Asset Store). Przykład zawiera kompletny projekt HoloLens, w tym wstępnie skonfigurowane sceny, które można wdrożyć na urządzeniu HoloLens.

Sceny pokazują, jak używać obiektów docelowych obrazów Vuforia do rozpoznawania obrazu i rozszerzania go za pomocą zawartości cyfrowej w środowisku HoloLens. Przykład HoloLens aparatu Vuforia zawiera również scenę przedstawiającą użycie obiektów docelowych modelu i VuMarks na urządzeniu HoloLens. Możesz łatwo zastąpić własną zawartość w scenach, aby eksperymentować z tworzeniem aplikacji HoloLens korzystających z aparatu Vuforia Engine.

Konfigurowanie aplikacji Vuforia dla urządzenia HoloLens

Tworzenie aplikacji Vuforia Engine dla urządzenia HoloLens jest zasadniczo takie samo jak tworzenie aplikacji Vuforia Engine dla innych urządzeń. Następnie możesz zastosować ustawienia kompilacji i konfiguracje opisane w poniższej sekcji. To wszystko, co jest potrzebne, aby umożliwić aparatowi Vuforia pracę z mapowaniem przestrzennym HoloLens i systemami śledzenia pozycyjnego.

Kompilowanie i uruchamianie przykładu aparatu Vuforia dla urządzenia HoloLens

  1. Pobierz przykład aparatu Vuforia dla urządzenia HoloLens ze sklepu Unity Asset Store
  2. Stosowanie zalecanych opcji aparatu Unity pod kątem zasilania i wydajności
  3. Dodaj przykładowe sceny do scen w kompilacji.
  4. W obszarze Ustawienia kompilacji przełącz platformę kompilacji na platformę UWP , klikając przycisk Dodaj otwarte sceny . Obrazu
  5. Wybierz przycisk Ustawienia odtwarzacza .
  • Wybierz ikonę platformy UWP i rozwiń sekcję Ustawienia XR .
  • Upewnij się, że włączono obsługę rzeczywistości wirtualnej .
  • W obszarze Zestawy SDK rzeczywistości wirtualnej upewnij się, że:
    • Mixed Reality okna znajduje się na liście i włączono włączanie udostępniania buforu głębokości.
    • Format głębokości jest ustawiony na 16-bitową głębokość.
  • Upewnij się, że tryb renderowania stereo jest ustawiony na pojedyncze wystąpienie z przekazywaniem.
  1. Rozwiń sekcję Ustawienia publikowania .
  • W obszarze Możliwości upewnij się, że wybrano pozycję Internet Client, WebCam, Mikrofon i SpatialPerception .
  • UWAGA: Funkcja SpatialPerception powinna być wybrana tylko wtedy, gdy zamierzasz używać interfejsu API obserwatora powierzchni.
  • W obszarze Obsługiwane rodziny urządzeń upewnij się, że wybrano opcję Holographic .
  1. Rozwiń sekcję Rozpoznawanie i prezentacja .
  • Wyłącz polecenie Uruchom w tle, aby aparat Vuforia wstrzymał się, gdy aplikacja zostanie umieszczona w tle i będzie mogła ponownie uzyskać dostęp do aparatu po wznowieniu działania aplikacji.
  • Na liście rozwijanej Orientacja domyślna upewnij się, że wybrano opcję Lewy poziomy .
  1. Wróć do okna Ustawienia kompilacji i wybierz pozycję Kompiluj , aby wygenerować projekt programu Visual Studio.
  2. Skompiluj plik wykonywalny z programu Visual Studio i zainstaluj go na urządzeniu HoloLens.

Portal deweloperów Vuforia

Deweloperzy, którzy chcą tworzyć własne środowiska ar z aparatem Vuforia Engine i HoloLens, powinni zarejestrować się w naszym portalu deweloperów Vuforia w developer.vuforia.com. W portalu deweloperzy mają dostęp do forów aparatu Vuforia, gdzie mogą dołączać do dyskusji społeczności, biblioteki z szczegółową dokumentacją dotyczącą wszystkich funkcji aparatu Vuforia oraz Vuforia Target Manager , gdzie użytkownicy mogą tworzyć własne niestandardowe obiekty docelowe. Deweloperzy mogą również zarejestrować się w celu uzyskania bezpłatnej licencji dla deweloperów przy użyciu menedżera licencji Vuforia.

Śledzenie urządzeń za pomocą programu Vuforia

Śledzenie urządzeń utrzymuje śledzenie nawet wtedy, gdy element docelowy nie jest już w widoku. Jest ona automatycznie włączona dla wszystkich obiektów docelowych po włączeniu monitora urządzeń pozycyjnych. W przypadku aplikacji HoloLens śledzenie urządzeń pozycyjnych jest uruchamiane automatycznie w środowisku Unity.

Vuforia Engine automatycznie łączy pozy ze śledzenia kamer i śledzenia przestrzennego HoloLens w celu zapewnienia stabilnego celu niezależnie od tego, czy cel jest postrzegany przez kamerę, czy nie.

Ponieważ proces jest obsługiwany automatycznie, nie wymaga programowania przez dewelopera.

Poniżej przedstawiono ogólny opis procesu:

  1. Docelowy tracker Vuforia rozpoznaje element docelowy
  2. Śledzenie docelowe jest następnie inicjowane
  3. Położenie i rotacja obiektu docelowego są analizowane w celu zapewnienia niezawodnego oszacowania dla urządzenia HoloLens
  4. Aparat Vuforia przekształca położenie obiektu docelowego w przestrzeń współrzędnych mapowania przestrzennego HoloLens
  5. Urządzenie HoloLens przejmuje śledzenie, jeśli obiekt docelowy nie jest już w widoku. Za każdym razem, gdy spojrzysz ponownie na obiekt docelowy, Vuforia będzie nadal śledzić obrazy i obiekty dokładnie.

Obiekty docelowe, które są wykrywane, ale nie są już widoczne, są zgłaszane jako EXTENDED_TRACKED. W takich przypadkach skrypt DefaultTrackableEventHandler używany we wszystkich miejscach docelowych nadal renderuje zawartość rozszerzoną. Deweloper może kontrolować to zachowanie, implementując niestandardowy skrypt obsługi zdarzeń z możliwością śledzenia.

Tryb wydajności z aparatem Vuforia

Dzięki aparatowi Vuforia można zarządzać wydajnością urządzenia HoloLens w zakresie środowisk AR i zmniejszyć obciążenie procesora CPU. Aparat Vuforia oferuje trzy tryby, które można wybrać: domyślne, do optymalizacji szybkości i optymalizacji jakości.

  • MODE_OPTIMIZE_SPEED pozwala zminimalizować obciążenie urządzenia HoloLens i doskonale nadaje się do rozszerzania środowisk AR. Zalecamy w sytuacjach, w których aplikacja śledzi statyczne obiekty/obiekty docelowe.
  • MODE_DEFAULT jest trybem normalnym, który może być używany w większości scenariuszy.
  • MODE_OPTIMIZE_QUALITY lepiej jest śledzić wymienne obiekty docelowe lub cele modelu, które mają zostać odebrane.

Ustawianie trybu

Aby zmienić tryb wydajności w środowisku Unity, przejdź do pozycji Konfiguracja Vuforia (Ctrl+Shift+V / Cmd+Shift+V), która znajduje się jako składnik w obiekcie ARCamera GameObject.

  • Wybierz menu rozwijane trybu urządzenia z kamerą i wybierz jedną z trzech opcji.

Zobacz też