Co je Mixed reality Toolkit

Mixed Reality Toolkit


MRTK-Unity je projekt založený na Microsoftu, který obsahuje sadu komponent a funkcí urychlujících vývoj aplikací s hybridní realitou v Unity pro různé platformy. Příklady funkcí a možností:

  • Poskytuje vstupní systém pro různé platformy a stavební bloky pro prostorové interakce a uživatelské rozhraní.
  • Umožňuje rychlé vytváření prototypů prostřednictvím simulace v editoru, která umožňuje okamžité zobrazení změn.
  • Funguje jako rozšiřitelné rozhraní , které vývojářům umožňuje vyměňovat základní komponenty.
  • Podporuje široké spektrum platforem:
Platforma Podporovaná zařízení
OpenXR (Unity 2020.3.8 +) Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Oculus (Unity 2019,3 nebo novější) Oculus – Quest
OpenVR Náhlavní soupravy Windows Mixed Reality
A HTC
Oculus Rift
Sledování rukou Ultraleap Kontroler pohybů Ultraleap s přestupným
Mobilní iOS a Android
Platforma Podporovaná zařízení
OpenXR (Preview v MRTK 2,6, Unity 2020.3.8 +) Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Oculus (Unity 2019,3 nebo novější) Oculus – Quest
OpenVR Náhlavní soupravy Windows Mixed Reality
A HTC
Oculus Rift
Sledování rukou Ultraleap Kontroler pohybů Ultraleap s přestupným
Mobilní iOS a Android

Poznámka

vyhněte se Unity 2020.3.21 f a 2020.3.22 f, což způsobí blikání a strobing dopad na HoloLens 2. Další informace najdete tady.

Začínáme s MRTK

Pokud s vývojem v Unity ještě začínáte s MRTK nebo smícháním realit, doporučujeme na svém zařízení nebo emulátorunainstalovat a prozkoumat ukázkovou aplikaci MRTK Examples hub.

jakmile se dostanou, co Mixed realita a MRTK má nabízet, nainstalujte potřebné nástroje a sledujte naši řadu kurzů HoloLens 2 pro začátečníky na úrovni začátečník.

Chcete zjistit, co se v digestoře prochází?

Dokumentace

Zpráva k vydání verze
Zpráva k vydání verze
MRTK – přehled
MRTK – přehled
Referenční informace k rozhraním API
Referenční informace k rozhraním API

Stav sestavení

Větvení. Stav CI Stav docs
main Stav CI Stav docs

Oblasti funkcí

Diktování řeči
Řeči
&&

Stavební bloky uživatelského systému

Tlačítko
Ovládací prvek tlačítka, který podporuje různé metody zadávání, včetně HoloLens 2 na articulated hand

Ovládací prvek Mezeovládacích meze
Standardní uživatelské rozhraní pro manipulaci s objekty ve 3D prostoru

Manipulátorobjektu
Skript pro manipulaci s objekty jednou nebo dvěma rukou

SlateSlate
Rovina stylu 2D, která podporuje posouvání s návrhem ručního vstupu

Systémová klávesnice– systémová klávesnice
Příklad skriptu použití systémové klávesnice v Unity

Interakce sinterakcemi
Skript pro interakci objektů se stavy vizuálů a podporou motivů

SolverSolver
Různá chování při umisování objektů, jako je například značka-podél, zámek těla, velikost konstantního zobrazení a chování povrchu

Kolekce objektů
Skript pro rozložení pole objektů v trojrozměrném tvaru

Popis tlačítka
Uživatelské rozhraní pro poznámky s flexibilním systémem ukotvení/pivot, který lze použít k označování ovladačů pohybu a objektů

Posuvník
Uživatelské rozhraní posuvníku pro úpravu hodnot podporujících interakci přímého sledování rukou

MRTK Standard ShaderMRTK Standard Shader
Standardní shader MRTK podporuje různé Fluent prvky návrhu s výkonem.

Ruční nabídka
Ručně uzamčené uživatelské rozhraní pro rychlý přístup s využitím řešitel omezení rukou

Panel aplikacína panelu aplikací
Uživatelské rozhraní pro ruční aktivaci ovládacího prvku Bounds

Ukazatele
Další informace o různých typech ukazatelů

Vizualizace prstuVizualizace prstem
Vizuální dostupnost na dosah ruky, což zvyšuje spolehlivost přímé interakce.

Near MenuNear Menu
Uživatelské rozhraní plovoucí nabídky pro blízké interakce

Spatial Awareness Getting startedSpatial Awareness View
Interakce holografických objektů s fyzickými prostředími

Hlasovýpříkaz hlasového příkazu
Skripty a příklady pro integraci vstupu řeči

Indikátor průběhuindikátoru průběhu
Vizuální indikátor pro komunikaci procesu nebo operace dat

Dialogovéokno
Uživatelské rozhraní pro žádostí o potvrzení nebo potvrzení uživatele

Hand CoachHand Coach
Komponenta, která pomáhá uživatele vést, když se nenaučilo gesto

Hand Physics ServiceHand Physics Service [Experimentální]
Služba hand physics (fyzika rukou) umožňuje pevnou kolize těla a interakce s pohybem rukou.

Posouváníkolekce
Kolekce objektů, která nativně posouvání 3D objektů

DockDock [Experimentální]
Dock umožňuje přesouvat objekty do předem určených pozic a z předem určených pozic.

Sledování očí: Sledování cílovýchok výběru: Výběr cíle
Kombinací očí, hlasu a vstupu rukou můžete rychle a bez námahy vybrat hologramy ve scéně.

Sledování očí: NavigationEye Tracking: Navigace
Zjistěte, jak automaticky posouvat text nebo plynule přiblížit zaměřený obsah na základě toho, na co se díváte.

Sledování očí: Sledování očíheat mapy: Heat mapa
Příklady protokolování, načítání a vizualizace toho, na co se uživatelé ve vaší aplikaci dívali

nástroje

Okno optimalizace oknaoptimalizace Okno závislostí vokně závislostí Okno sestavení –okno sestavení Záznam vstupu prozáznam vstupu
Automatizace konfigurace Mixed Reality projektů pro optimalizaci výkonu Analýza závislostí mezi prostředky a identifikace nepoužívaných prostředků Konfigurace a spuštění end-to-end procesu sestavení pro Mixed Reality aplikace Záznam a přehrávání dat o pohybu hlavy a sledování rukou v editoru

Příklady scén

MRTK nabízí příklady scén, které ukazují, jak používat funkce MRTK. Ukázkové scény najdete ve složce Assets/MRTK/Examples/Demos. Přečtěte si stránku Example scenes (Příklady scén), kde se dozvíte, jak získat a spustit příklady scén. Scéna příkladů interakce s rukou je skvělým místem, kde můžete začít zacházet se stavebními bloky MRTK pro interakce a uživatelské rozhraní.

Příklad scény 2

Centrum příkladů MRTK

S centrem příkladů MRTK můžete vyzkoušet různé ukázky scén v MRTK bez sestavování a nasazování jednotlivých scén. Předem sestavené balíčky aplikací pro HoloLens(x86), HoloLens 2(ARM) Windows Mixed Reality imerzivní náhlavní soupravy (x64) si můžete stáhnout výběrem balíčku Mixed Reality Toolkit Examples v nástroji funkcí MR. Ujistěte se, že Windows Portál zařízení k instalaci aplikací na HoloLens (1. generace). Na HoloLens 2 si můžete stáhnout a nainstalovat centrum příkladů MRTK prostřednictvím Microsoft Store aplikace.

Podrobnosti o vytvoření centra s více scénou pomocí systému scény MRTK a služby přechodu scény najdete na stránce Soubory README centra s příklady.

Příklad centra scény

Ukázkové aplikace provedené pomocí MRTK

Pravidelná tabulka elementů Galaxy Explorer Povrchy ukázkové aplikace
Pravidelná tabulka elementů je open source ukázková aplikace, která ukazuje, jak pomocí vstupního systému MRTK a stavebních bloků vytvořit prostředí aplikace pro HoloLens a imerzivní náhlavní soupravy. Přečtěte si příběh přenosu: Přenos pravidelné tabulky aplikace Elements do HoloLens 2 pomocí MRTK v2 Galaxy Explorer je open source ukázková aplikace, která byla původně vyvinuta v březnu 2016 v rámci HoloLens "Share Your Idea". Galaxy Explorer byl aktualizován o nové funkce pro HoloLens 2 pomocí MRTK v2. Přečtěte si příběh: The Making of Galaxy Explorer for HoloLens 2 surface je open source ukázková aplikace pro HoloLens 2, která zkoumá, jak můžeme vytvořit hmatatelnou sensation s využitím vizuálního, zvukového a plně kloubového sledování. Podrobné informace o návrhu a vývoji najdete v článku o vývojových dnech Microsoftu MR od aplikace Surface.

Videa o relacích ze směsi pro vývoj hybridních realit ve dnech 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Kurz o tom, jak vytvořit jednoduchou aplikaci MRTK od začátku do konce Seznamte se s koncepty interakce a MRTK funkcemi pro více platforem. Hlubokou podrobně na stavebních blocích MRTK, které vám pomůžou sestavovat působivé hybridní prostředí realit. Seznámení s nástroji pro výkon, v MRTK i externích a také v přehledu standardního shaderu MRTK.

Další videa o relacích najdete v tématu věnovaném dnům ve smíšené realitě .

Zapojení do komunity

Tento projekt přijal pravidla chování pro Microsoft Open Source. Další informace najdete v tématu Nejčastější dotazy týkající se kódu chování nebo kontaktování s dalšími dotazy nebo komentáři.

Užitečné prostředky pro hybridní realitu Dev Center

Zjistitzjišťování Návrh návrhu Vývojvývoje Distribuovat)Distribuovat
naučte se sestavovat hybridní funkce pro realitu HoloLens a moderní sluchátka (VR). Získat vodítka pro návrh Sestavte uživatelské rozhraní. Naučte se interakce a vstupy. Získejte průvodce pro vývoj. Naučte se technologii. Seznamte se s vědeckým významem. Připravte si aplikaci pro ostatní a zvažte vytvoření 3D spouštěče.

Užitečné prostředky v Azure

Spatial Anchors
Spatial Anchors
Speech Serviceshlasové služby Služby Vision Services pro visioning
Prostorové ukotvení je služba pro různé platformy, která umožňuje vytvářet hybridní prostředí realit pomocí objektů, které v průběhu času uchovávají jejich umístění v rámci zařízení. Objevte a Integrujte funkce řeči založené na Azure, jako je převod řeči na text, rozpoznávání mluvčího nebo překlad řeči do vaší aplikace. Identifikujte a Analyzujte svůj obrázek nebo video pomocí služeb Vision, jako je počítačové vidění, detekce obličeje, rozpoznávání emoce nebo video indexer.

Jak přidávat příspěvky

Přečtěte si, jak můžete přispívat k MRTK při přispívání.

Získání nápovědy

Pokud narazíte na problémy způsobené MRTK nebo jinak máte dotazy týkající se toho, jak něco udělat, je k dispozici několik prostředků, které vám pomůžou: