rychlý start: vytvoření aplikace HoloLens pomocí kotev objektů Azure v Unity s MRTK

v tomto rychlém startu vytvoříte aplikaci Unity HoloLens, která používá kotvy objektů Azure. Kotvy objektů Azure je spravovaná cloudová služba, která převádí 3D prostředky na modely AI, které umožňují objektově pracujícím prostředím pro HoloLens. až budete hotovi, budete mít HoloLens aplikaci vytvořenou s Unity, která dokáže detekovat objekty ve fyzickém světě.

Dozvíte se, jak provést tyto akce:

Požadavky

Abyste mohli absolvovat tento rychlý start, ujistěte se, že máte následující:

• Fyzický objekt ve vašem prostředí a jeho 3D model (buď CAD, nebo naskenovaný).
• Počítač se systémem Windows s následujícím nainstalovaným:
  • Git pro Windows
  • Sada Visual Studio 2019 s úlohou vývoje Univerzální platforma Windows a komponentou Windows 10 SDK (10.0.18362.0 nebo novější)
  • Unity 2019,4
• Zařízení HoloLens 2, které je aktuální a má povolený režim pro vývojáře .
  • Chcete-li provést aktualizaci na nejnovější verzi na HoloLens, otevřete aplikaci Nastavení , pokračujte na aktualizace & zabezpečení a pak vyberte Vyhledat aktualizace.

Vytvoření účtu pro kotvy objektů

Nejprve je třeba vytvořit účet se službou kotvy objektů.

1. Otevřete Azure Portal a vyberte vytvořit prostředek.

   

2. Vyhledejte prostředek kotvy objektů .

   Vyhledejte "kotvy objektů".

   

   Ve výsledcích hledání objektu kotvy objektů vyberte kotvy objektů Create->.

   

3. V dialogovém okně účet kotvy objektů :

   • Zadejte jedinečný název prostředku.
   • Vyberte předplatné, ke kterému chcete prostředek připojit.
   • Vytvořte nebo použijte existující skupinu prostředků.
   • Vyberte oblast, ve které se má prostředek vyskytovat.

   

   Vyberte vytvořit a začněte vytvářet prostředek.

4. Jakmile bude prostředek vytvořen, vyberte Přejít k prostředku.

   

5. Na stránce Přehled:

   Poznamenejte si doménu účtu. Budete ho potřebovat později.

   

   Poznamenejte si ID účtu. Budete ho potřebovat později.

   

   Přejděte na stránku přístupové klíče a poznamenejte si primární klíč. Budete ho potřebovat později.

   

Nastavení zařízení

K nasazení aplikací do HoloLens je potřeba spárovat svůj HoloLens s vaším počítačem.

1. V pracovním HoloLens přejděte do Nastavení-> Update & Security-> pro vývojáře.
2. Klikněte na spárovat a nechte obrazovku otevřenou, dokud do sady Visual Studio během prvního nasazení NEZADÁTE kód PIN.

Upload modelu

Před spuštěním aplikace je potřeba, abyste pro aplikaci měli k dispozici modely. Pokud ještě nemáte model Object Anchors, postupujte podle pokynů v tématu Vytvoření modelu a vytvořte ho. Pak se vraťte sem.

Po HoloLens a připojení k vývojovému zařízení (PC) nahrajte model do složky 3D Objects (3D objekty) ve vašem HoloLens:

1. Vyberte a zkopírujte modely, se které chcete pracovat, stisknutím kláves Ctrl a C společně (Ctrl + C).

2. Stisknutím Windows Logo a E společně (Win + E) spusťte Průzkumník souborů. V levém podokně by HoloLens vaše zařízení uvedená s dalšími disky a složkami.

   

3. Klepnutím na odkaz HoloLens zobrazíte úložiště na HoloLens zařízení v pravém podokně.

   

4. V Průzkumník souborů části Interní objekty Storage > 3D objekty. Teď můžete modely vložit do složky 3D Objects (3D objekty) stisknutím kombinace kláves Ctrl a V (Ctrl +V).

   

Otevřete vzorový projekt

Naklonujte úložiště ukázek spuštěním následujících příkazů:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

Dalším krokem je stažení balíčku Azure Object Anchors pro Unity.

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

V Unity otevřete quickstarts/apps/unity/mrtk projekt.

Konfigurace informací o účtu

Dalším krokem je konfigurace aplikace, aby používala informace o účtu. Poznamenali jste klíč účtu, ID účtu a hodnoty domény účtu v části Vytvoření účtu kotev objektů .

v podokně Project přejít na Assets\AzureObjectAnchors.SDK\Resources .

Vyberte ObjectAnchorsConfig. V podokně inspektor zadejte Account Key hodnotu jako hodnota pro klíč účtu kotvy objektů, Account ID jako hodnotu ID účtu kotvy objektu a Account Domain jako hodnotu pro doménu účtu kotvy objektů.

Sestavte a spusťte aplikaci.

Sestavení ukázkové scény

V editoru Unity přejděte na assets/MixedReality. AzureObjectAnchors/scénys a otevřete AOASampleScene a přidejte ho do seznamu sestavení scény.

když se v dialogovém okně import nástroje TMP zobrazí výzva k importu prostředků TextMesh Pro, vyberte k tomu možnost importovat základní údaje tmp.

Vyberte soubor – > sestavování nastavení. Vyberte Univerzální platforma Windows a pak vyberte přepínač platforma. Pokud Editor Unity říká, že potřebujete nejdřív stáhnout některé součásti, Stáhněte si je a nainstalujte. Pomocí níže uvedeného snímku obrazovky nakonfigurujte nastavení sestavení. Zajistěte , aby se u AOASampleScene zavedlo zaškrtnutí na všechny ostatní scény.

Vyberte sestavení a vyberte výstupní složku. Nyní můžete vygenerovat projekt VS ve výstupní složce.

Sestavení a nasazení aplikace

Otevřete .sln soubor vygenerovaný Unity. Změňte konfiguraci buildu na následující.

V dalším kroku budete muset nakonfigurovat IP adresu vzdáleného počítače pro nasazení a ladění aplikace.

Klikněte pravým tlačítkem na projekt aplikace a vyberte vlastnosti. Na stránce Vlastnosti vyberte možnost Vlastnosti konfigurace-> ladění. Změňte hodnotu název počítače na IP adresu vašeho zařízení HoloLens a klikněte na použít.

Zavřete stránku vlastností. Klikněte na vzdálený počítač. Aplikace by měla začít sestavovat a nasazovat na vzdálené zařízení. Ujistěte se, že je zařízení aktivní.

Po úvodní obrazovce Unity by se mělo zobrazit bílé ohraničující pole. Můžete použít ruku pro přesun, škálování nebo otočení ohraničovacího rámečku. Umístěte pole k pokrytí objektu, který chcete detekovat.

Otevřete nabídku ruka a vyberte Zamknout SearchArea , abyste zabránili dalšímu přesunu ohraničovacího rámečku. Výběrem možností zahájit hledání spusťte rozpoznávání objektů. Při zjištění objektu se na objekt vykreslí mřížka. Podrobnosti zjištěné instance se zobrazí na obrazovce, jako je například aktualizované časové razítko a poměr pokrytí povrchu. Vyberte Zastavit hledání , aby se sledování zastavilo a odebraly se všechny zjištěné instance.

Nabídky aplikace

Pomocí nabídky rukamůžete také provádět další akce.

Primární nabídka

• Zahájit hledání nebo zastavit hledání – spustí nebo zastaví proces detekce objektu.

• Přepnout mapování prostorů – Zobrazit/skrýt vykreslování prostorového mapování Tuto možnost lze použít k ladění, pokud je kontrola dokončena nebo ne.

• Nastavení sledování – přepne aktivaci v nabídce nastavení sledování.

• oblast hledání Nastavení – přepne aktivaci nabídky nastavení oblasti hledání.

• Spustit trasování – Zachyťte diagnostická data a uložte je do zařízení. Další podrobnosti najdete v části problémy s detekcí ladění a zachytit diagnostiku.

• Upload trasování – Upload diagnostická data do služby kotvy objektů.

  

Nabídka nastavení sledování

• Vysoká přesnost – experimentální funkce, která slouží k získání přesnější pozice. Povolení této možnosti bude během detekce objektu vyžadovat víc systémových prostředků. Mřížka objektu bude v tomto režimu vykreslena růžovou. Opětovným výběrem tohoto tlačítka přepnete zpět do režimu normálního sledování.

• Odlehčené svislé zarovnání – Pokud je povoleno, umožňuje objekt, který se má detekovat v nesvislém úhlu. Užitečné pro detekci objektů na rampách.

• Povolit změnu měřítka – umožňuje sledování změnit velikost zjištěného objektu na základě informací o prostředí.

• Posuvník poměru pokrytí – upraví poměr povrchových bodů, které se musí shodovat, aby bylo možné zjistit objekt. nižší hodnoty umožňují, aby sledovací modul lépe zjišťoval objekty, které jsou náročné na HoloLens senzory k detekci, jako jsou tmavé objekty nebo vysoce reflektované objekty. Vyšší hodnoty omezí četnost detekce v hodnotě false.

  

Nabídka nastavení oblasti hledání

• Zamknout oblast vyhledávání – ohraničovací rámeček zamykací oblasti, aby se zabránilo nechtěnému přesunu rukou.

• Automaticky upravit oblast vyhledávání – umožní, aby se oblast hledání při detekci objektu mohla změnit.

• Cyklická síť – cykly prostřednictvím vizualizace načtených sítí v oblasti hledání. Tato možnost může uživatelům pomáhat při zarovnávání vyhledávacího pole, aby bylo obtížné detekovat objekty.

  

Řešení potíží

Tipy

Pokud se objekt nedetekuje, můžete vyzkoušet následující postup:

1. Dvakrát ověřte, že používáte správný model pro váš objekt.
2. Vizualizujte oblast hledání a ujistěte se, že pokrývá cílový objekt.
3. Zkuste snížit MinSurfaceCoverage .
4. Na portálu zařízení s Windows klikněte na zobrazení-> prostorové zobrazení a ověřte, jestli se kontrola dokončila.

Další kroky