Co je Mixed Reality Toolkit 2?

Mixed Reality Toolkit


MRTK-Unity je projekt založený na Microsoftu, který obsahuje sadu komponent a funkcí urychlujících vývoj aplikací s hybridní realitou v Unity pro různé platformy. Příklady funkcí a možností:

  • Poskytuje vstupní systém pro různé platformy a stavební bloky pro prostorové interakce a uživatelské rozhraní.
  • Umožňuje rychlé vytváření prototypů prostřednictvím simulace v editoru, která umožňuje okamžitě zobrazit změny.
  • Funguje jako rozšiřitelná architektura , která vývojářům umožňuje zaměnit základní komponenty.
  • Podporuje širokou škálu zařízení:
Modul plug-in XR SDK (poskytovatelé modulů plug-in pro správu modulů plug-in Unity XR) Podporovaná zařízení
Modul plug-in Unity OpenXR (Unity 2020 nebo 2021 LTS)
(Mixed Reality Pro určité funkce na určitých zařízeních se vyžaduje modul plug-in OpenXR.
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Meta Quest
Zařízení běžící na SteamVR přes OpenXR
Modul plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Modul plug-in Oculus XR (Unity 2019 nebo novější LTS) Meta Quest (prostřednictvím integračního balíčku Oculus)
ARCore XR Plug-in Android (přes AR Foundation)
ARKit XR Plug-in iOS (přes AR Foundation)
Modul plug-in XR SDK (poskytovatelé modulů plug-in pro správu modulů plug-in Unity XR) Podporovaná zařízení
Modul plug-in Unity OpenXR (verze Preview v MRTK 2.6, Unity 2020 nebo 2021 LTS)
(Mixed Reality Pro určité funkce na určitých zařízeních se vyžaduje modul plug-in OpenXR.
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Meta Quest
Zařízení běžící na SteamVR přes OpenXR
Modul plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Modul plug-in Oculus XR (Unity 2019 nebo novější LTS) Meta Quest (prostřednictvím integračního balíčku Oculus)
ARCore XR Plug-in Android (přes AR Foundation)
ARKit XR Plug-in iOS (přes AR Foundation)

Další podporovaná zařízení:

  • Ultraleap Leap Motion ovladač pro sledování rukou

Poznámka

Představili jsme verzi Public Preview MRTK3, další kapitolu MRTK. Další informace najdete v dokumentaci k MRTK3.

Začínáme s MRTK

Pokud s MRTK začínáte nebo Mixed Reality vývoj v Unity, doporučujeme nainstalovat a prozkoumat ukázkovou aplikaci MRTK Examples Hub na vašem zařízení nebo emulátoru.

Jakmile budete moct zjistit, co Mixed Reality a MRTK nabízí, nainstalujte potřebné nástroje a postupujte podle našich kurzů na úrovni začátečníka HoloLens 2 sérii kurzů.

Chcete vidět, co se děje pod pokličkou?

Dokumentace

Zpráva k vydání verze
Zpráva k vydání verze
Přehled MRTK
Přehled MRTK
Reference rozhraní API
Referenční informace k rozhraním API

Stav sestavení

Větvení. Stav CI Stav dokumentace
main Stav CI Stav dokumentace

Oblasti funkcí

Stavební bloky uživatelského prostředí

ButtonTlačítko
Ovládací prvek tlačítko, který podporuje různé metody zadávání, včetně HoloLens 2 kloubové ruky

Bounds ControlBounds Control
Standardní uživatelské rozhraní pro manipulaci s objekty v 3D prostoru

Objekt Manipulátorobjektu Manipulátor
Skript pro manipulaci s objekty jednou nebo dvěma rukama

SlateSlate Slate
Rovina 2D stylu, která podporuje posouvání pomocí artikulovaného vstupu rukou

System KeyboardSystem Keyboard
Ukázkový skript použití systémové klávesnice v Unity

Interagovatelné
Skript pro zajištění interakce objektů se stavy vizuálů a podporou motivu

SolverŘešitel
Různá chování při umístění objektů, jako jsou značky, zámek těla, konstantní velikost zobrazení a povrchový magnetismus

Kolekce objektů kolekceobjektů
Skript pro rozložení pole objektů v trojrozměrném tvaru

Popis tlačítka
Uživatelské rozhraní poznámek s flexibilním systémem ukotvení/pivotu, který lze použít k popisování ovladačů pohybu a objektů

SliderPosuvník
Uživatelské rozhraní posuvníku pro úpravu hodnot podporujících interakci s přímým sledováním rukou

MRTK Standard ShaderMRTK Standard Shader
Standard shader MRTK podporuje různé prvky fluent design s výkonem

Hand MenuHand Menu
Ručně uzamčené uživatelské rozhraní pro rychlý přístup pomocí Řešitele omezení rukou

App BarPanel aplikace Panel aplikace
Uživatelské rozhraní pro ruční aktivaci ovládacího prvku Bounds

Ukazatele ukazatelů
Informace o různých typech ukazatelů

Vizualizace prstem vizualizaceprstem
Vizuální dostupnost na dosah ruky, která zvyšuje jistotu pro přímou interakci

Near MenuNear Menu
Plovoucí uživatelské rozhraní nabídky pro blízké interakce

Spatial Awareness Getting StartedSpatial Awareness View
Interakce holografických objektů s fyzickými prostředími

Hlasový příkaz
Skripty a příklady pro integraci hlasového vstupu

Progress IndicatorIndikátor průběhu indikátoru průběhu
Vizuální indikátor procesu nebo operace komunikace s daty

DialogDialogové okno
Uživatelské rozhraní pro žádost o potvrzení nebo potvrzení uživatele

Hand CoachHand Coach
Komponenta, která pomáhá uživatele provést, když se gesto nenaučilo

Služba fyzikyrukou Služba fyziky rukou [Experimentální]
Služba fyziky rukou umožňuje tuhé kolize těla a interakce s kloubovýma rukama

Scrolling CollectionScrolling Collection
Kolekce objektů, která nativně posouvá 3D objekty

DockDock [Experimentální]
Dok umožňuje přesun objektů do a z předem určených pozic.

Sledování očí: Výběr cíleSledování očí: Výběr cíle
Kombinace očí, hlasu a ručního vstupu pro rychlý a snadný výběr hologramů ve scéně

Sledování očí: NavigaceSledování očí: Navigace
Přečtěte si, jak automaticky posouvat text nebo plynule přibližovat obsah s fokusem na základě toho, na co se díváte.

Sledování očí: Heat MapaEye Tracking: Heat Mapa
Příklady protokolování, načítání a vizualizace toho, co uživatelé ve vaší aplikaci prohlíželi

nástroje

Optimalizace oknaOptimalizace okna Okno závislostí oknazávislostí Okno sestavení Záznam vstupuZáznam vstupu
Automatizace konfigurace Mixed Reality projektů pro optimalizaci výkonu Analýza závislostí mezi prostředky a identifikace nepoužívaných prostředků Konfigurace a spuštění kompletního procesu sestavení pro Mixed Reality aplikace Záznam a přehrávání údajů o pohybu hlavy a sledování rukou v editoru

Ukázkové scény

MRTK poskytuje ukázkové scény, které ukazují, jak používat funkce MRTK. Ukázkové scény najdete ve složce Assets/MRTK/Examples/Demos. Na stránce Ukázkové scény se dozvíte, jak získat a spustit ukázkové scény. Scéna s příklady ruční interakce je skvělým místem, kde můžete začít používat stavební bloky MRTK pro interakce a uživatelské rozhraní.

Příklad scény 2

Centrum příkladů MRTK

Pomocí centra PŘÍKLADY MRTK můžete vyzkoušet různé ukázkové scény v MRTK, aniž byste museli jednotlivé scény vytvářet a nasazovat. Můžete si stáhnout předem připravené balíčky aplikací pro HoloLens(x86), HoloLens 2(ARM) a Windows Mixed Reality imerzivní náhlavní soupravy (x64) tak, že v nástroji mr Feature Tool vyberete balíček "Mixed Reality Toolkit Examples". Ujistěte se, že k instalaci aplikací na HoloLens (1. generace) používáte Portál zařízení s Windows. Na HoloLens 2 si můžete stáhnout a nainstalovat centrum příklady MRTK prostřednictvím aplikace Microsoft Store.

Podrobnosti o vytvoření centra s více scénami pomocí systému scén a služby přechodu scén MRTK najdete na stránce README centra s příklady .

Příklad centra scény

Ukázkové aplikace vytvořené pomocí MRTK

Periodická tabulka prvků Galaxy Explorer Ukázková aplikace Povrchy
Periodická tabulka elementů je opensourcová ukázková aplikace, která ukazuje, jak používat vstupní systém MRTK a stavební bloky k vytvoření prostředí aplikace pro HoloLens a Imerzivní náhlavní soupravy. Přečtěte si článek o přenosu: Přenesení periodické tabulky aplikace Elements do HoloLens 2 s MRTK v2 Galaxy Explorer je opensourcová ukázková aplikace, která byla původně vyvinuta v březnu 2016 jako součást kampaně HoloLens "Share Your Idea". Galaxy Explorer byl aktualizován o nové funkce pro HoloLens 2 pomocí MRTK v2. Přečtěte si příběh: Vytvoření Galaxy Exploreru pro HoloLens 2 Povrchy je opensourcová ukázková aplikace pro HoloLens 2, která zkoumá, jak můžeme vytvořit hmatový pocit pomocí vizuálního, zvukového a plně artikulovaného sledování rukou. Podrobné informace o návrhu a vývoji najdete v relaci Microsoft MR Dev Days : Učení z aplikace Povrchy .

Videa relací z Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Kurz týkající se vytvoření jednoduché aplikace MRTK od začátku do konce Seznamte se s koncepty interakce a funkcemi MRTK pro více platforem. Podrobné informace o stavebních blocích uživatelského rozhraní MRTK, které vám pomůžou vytvářet krásná prostředí hybridní reality. Úvod do nástrojů pro měření výkonu, a to jak v MRTK, tak i externích, a také přehled standardního shaderu MRTK.

Další videa z relací najdete v tématu Mixed Reality Dev Days.

Zapojení komunity

Tento projekt přijal pravidla chování pro Microsoft Open Source. Další informace najdete v nejčastějších dotazech k pravidlům chování. V případě jakýchkoli dotazů nebo připomínek kontaktujte opencode@microsoft.com.

Užitečné zdroje informací o Mixed Reality Dev Center

ObjevteZjišťování Návrh návrhu Vývojvývoje Rozmístit)Distribuovat
Naučte se vytvářet prostředí hybridní reality pro HoloLens a imerzivní náhlavní soupravy (VR). Získejte průvodce návrhem. Sestavení uživatelského rozhraní. Naučte se interakce a vstupy. Získejte průvodce vývojem. Naučte se technologie. Seznamte se s vědou. Připravte aplikaci pro ostatní a zvažte vytvoření 3D spouštěče.

Užitečné zdroje informací v Azure

Spatial Anchors
Spatial Anchors
Speech ServicesSpeech Services Vision ServicesVision Services
Spatial Anchors je multiplatformní služba, která umožňuje vytvářet Mixed Reality prostředí pomocí objektů, které v průběhu času uchovávají svoji polohu na různých zařízeních. Objevte a integrujte do své aplikace funkce řeči využívající Azure, jako je rozpoznávání řeči na text, rozpoznávání mluvčího nebo překlad řeči. Identifikujte a analyzujte obsah obrázků nebo videí pomocí služeb Vision Services, jako jsou počítačové zpracování obrazu, detekce obličeje, rozpoznávání emocí nebo video indexer.

Jak přidávat příspěvky

Informace o tom, jak můžete přispívat do MRTK, najdete v příspěvku.

Získání nápovědy

Pokud narazíte na problémy způsobené mrtk nebo máte jiné dotazy ohledně toho, jak něco udělat, existuje několik zdrojů, které vám můžou pomoct: