Vad är Mixed Reality Toolkit

Verktyg för Mixed Reality


MRTK-Unity är ett Microsoft-drivet projekt som tillhandahåller en uppsättning komponenter och funktioner som används för att påskynda utvecklingen av MR-appar i olika plattformar. Här är några av dess funktioner:

  • Tillhandahåller plattformsoberoende indatasystem och byggstenar för rumsliga interaktioner och användargränssnitt.
  • Möjliggör snabba prototyper via redigeringssimulering som gör att du kan se ändringar direkt.
  • Fungerar som ett utökningsbart ramverk som ger utvecklare möjlighet att byta ut kärnkomponenter.
  • Stöder en mängd olika plattformar:
Plattform Enheter som stöds
OpenXR (Unity 2020.3.8+) Microsoft HoloLens 2
Headset för Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headset för Windows Mixed Reality
Oculus (Unity 2019.3 eller nyare) Oculus Quest
OpenVR Headset för Windows Mixed Reality
HTC Vive
Oculus Rift
Ultraleap handspårning Ultraleap Leap Motion-kontrollant
Mobilt iOS och Android
Plattform Enheter som stöds
OpenXR (förhandsversion i MRTK 2.6, Unity 2020.3.8+) Microsoft HoloLens 2
Headset för Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headset för Windows Mixed Reality
Oculus (Unity 2019.3 eller nyare) Oculus Quest
OpenVR Headset för Windows Mixed Reality
HTC Vive
Oculus Rift
Ultraleap handspårning Ultraleap Leap Motion-kontrollant
Mobilt iOS och Android

Anteckning

Undvik Unity 2020.3.21f och 2020.3.22f, vilket orsakar flashande och utfråkande effekt på HoloLens 2. Mer information finns här.

Komma igång med MRTK

Om du är nybörjare på MRTK eller Mixed Reality utveckling i Unity rekommenderar vi att du installerar och utforskar exempelprogrammet MRTK Examples Hub på enheten eller emulatorn.

När du har lärt dig vad Mixed Reality och MRTK har att erbjuda kan du installera nödvändiga verktyg och följa vår självstudieserie på nybörjarnivå HoloLens 2.

Vill du se vad som händer under huven?

Dokumentation

Viktig information
Viktig information
Översikt över MRTK
Översikt över MRTK
API-referens
API-referens

Build-status

Gren CI-status Docs-status
main CI-status Docs-status

Funktionsområden

Tal  diktering
Tal
&&

UX-byggstenar

Knappknapp
En knappkontroll som stöder olika indatametoder, HoloLens 2:s ledade hand

Kontroll av gränserför gränser
Standardgränssnitt för manipulering av objekt i 3D-utrymme

Objektmanipulatorför objektmanipulator
Skript för att manipulera objekt med en eller två händer

SlateSlate
2D-formatplan som stöder bläddring med ledade handinmatningar

Tangentbord försystemtangentbord
Exempelskript för att använda systemtangentbord i Unity

Interagerandebar
Ett skript för att göra objekt som kan interagera med visuella tillstånd och temastöd

SolverSolver
Olika objektpositioneringsbeteenden, till exempel tag-along, body-lock, konstant vystorlek och surface-magnetism

Objektsamling förobjektsamling
Skript för att utforma en matris med objekt i en tredimensionell form

Knappbeskrivning
Annotation UI med ett flexibelt fästpunkts-/pivotsystem som kan användas för etikettering av rörelsekontroller och objekt

Skjutreglageför skjutreglage
Skjutreglagets användargränssnitt för att justera värden som stöder interaktion med direkt handspårning

MRTK Standard ShaderMRTK Standard Shader
MRTK:s Standard Shader stöder olika Fluent designelement med prestanda

Handmeny
Handlåst användargränssnitt för snabb åtkomst med hjälp av handbegränsningslösaren

Appfältetsappfält
Användargränssnitt för bounds-kontrollens manuella aktivering

Pekarepekare
Lär dig mer om olika typer av pekare

Visualisering av fingertoppar
Visuellt pris vid räckhåll vilket förbättrar konfidensen för den direkta interaktionen

Nära menynNära menyn
Flytande menygränssnitt för nära interaktioner

Spatial awareness Getting startedSpatial Awareness View
Få dina holografiska objekt att interagera med de fysiska miljöerna

Röstkommandoför röst
Skript och exempel för att integrera talindata

Förloppsindikatorför förloppsindikator
Visuell indikator för att kommunicera dataprocess eller -åtgärd

Dialogruta
Användargränssnitt för att fråga efter användarens bekräftelse eller bekräftelse

Handcoach–handcoach
Komponent som hjälper användaren när gesten inte har lärts ut

HandfysiktjänstenHandfysiktjänst [experimentell]
Handfysiktjänsten möjliggör händelser och interaktioner mellan fasta kroppskollisioner och interaktioner med ledade händer

Rulla samling medrullningssamling
En objektsamling som inbyggt rullar 3D-objekt

Dockadocka [experimentell]
Med Dock kan objekt flyttas in och ut från förinställda positioner

Ögonspårning: Ögonspårning förmålval: Val av mål
Kombinera ögon, röst och handinmatning för att snabbt och enkelt välja hologram i din scen

Ögonspårning: Navigeringmed ögonspårning: Navigering
Lär dig hur du automatiskt rullar text eller smidigt zoomar in fokuserat innehåll baserat på vad du tittar på

Ögonspårning: Ögonspårning medheat map: heat map
Exempel på loggning, inläsning och visualisering av vad användare har tittat på i din app

Verktyg

Optimera fönstret Optimerafönster Beroendefönster förberoendefönster Build Window Build Window (Byggfönster) Inspelning av indatainspelning
Automatisera konfigurationen av Mixed Reality projekt för prestandaoptimering Analysera beroenden mellan tillgångar och identifiera oanvända tillgångar Konfigurera och köra en byggprocess från Mixed Reality program Spela in och spela upp huvudförflyttning och handspårningsdata i redigeraren

Exempelscener

MRTK innehåller exempelscenarier som visar hur du använder MRTK:s funktioner. Du hittar exempelscenarna under mappen Assets/MRTK/Examples/Demos. Läs sidan Exempelscener för att lära dig hur du hämtar och kör exempelscener. Scenen Med exempel på handinteraktion är ett bra ställe att börja uppleva MRTK:s byggstenar för interaktioner och användargränssnitt.

Exempelscen 2

Hubb för MRTK-exempel

Med MRTK-exempelhubben kan du prova olika exempelscener i MRTK utan att skapa och distribuera varje scen. Du kan hämta förbyggda appaket för HoloLens(x86), HoloLens 2(ARM) och Windows Mixed Reality integrerande headset (x64) genom att välja paketet "Mixed Reality Toolkit Examples" i MR Feature Tool. Se till att använda Windows Enhetsportalen för att installera appar HoloLens (första generationen). På HoloLens 2 kan du ladda ned och installera MRTK Examples Hub via Microsoft Store appen.

sidan Examples Hub README kan du läsa mer om hur du skapar en hubb med flera scener med MRTK:s scensystem och scenövergångstjänst.

Exempel på scenhubb

Exempelappar som gjorts med MRTK

Periodisk tabell över elementen Galaxy Explorer Exempelappen för ytor
Periodisk tabell med elementen är en exempelapp med öppen källkod som visar hur du använder MRTK:s indatasystem och byggstenar för att skapa en appupplevelse för HoloLens och Integrerande headset. Läs portningsberättelsen: Ta med den periodiska tabellen för appen Element till HoloLens 2 med MRTK v2 Galaxy Explorer är en exempelapp med öppen källkod som ursprungligen utvecklades i mars 2016 som en del av HoloLens "Dela din idé". Galaxy Explorer har uppdaterats med nya funktioner för HoloLens 2 med hjälp av MRTK v2. Läs berättelsen: The Making of Galaxy Explorer for HoloLens 2 Surfaces är en exempelapp med öppen källkod för HoloLens 2 som utforskar hur vi kan skapa en taktil upplevelse med visuellt objekt, ljud och fullständigt formulerad handspårning. Kolla in Microsoft MR Dev Days-sessionen Learnings from the Surfaces app (Utbildning om Microsoft MR Dev Days från appen Surfaces) för detaljerad design och utvecklingsberättelse.

Sessionsvideor från Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Självstudie om hur du skapar en enkel MRTK-app från början till slut. Lär dig mer om interaktionsbegrepp och MRTK:s funktioner för flera plattformar. Djupdykning i MRTK:s UX-byggstenar som hjälper dig att skapa snygga upplevelser med mixad verklighet. En introduktion till prestandaverktyg, både i MRTK och externt, samt en översikt över MRTK Standard Shader.

Se Mixed Reality Dev Days för att utforska fler sessionsvideor.

Interagera med communityn

Det här projektet använder sig av Microsofts uppförandekod för öppen källkod. Mer information finns i Vanliga frågor och svar om uppförandekoden eller kontakta om du har ytterligare frågor eller kommentarer.

Användbara resurser på Mixed Reality Dev Center

Upptäckupptäck Designdesign Utvecklautveckla Distribuera)Distribuera
Lär dig att skapa upplevelser med mixad verklighet HoloLens och integrerande headset (VR). Hämta designguider. Skapa användargränssnitt. Lär dig interaktioner och indata. Hämta utvecklingsguider. Lär dig tekniken. Förstå vetenskap. Gör din app redo för andra och överväg att skapa en 3D-start.

Användbara resurser i Azure

Spatial Anchors
Spatial Anchors
Speech ServicesSpeech Services Vision ServicesVision Services
Spatial Anchors är en plattformsoberoende tjänst som gör att du kan skapa Mixed Reality med hjälp av objekt som bevarar sin plats mellan enheter över tid. Upptäck och integrera Azure-drivna talfunktioner som tal till text, talarigenkänning eller talöversättning i ditt program. Identifiera och analysera ditt bild- eller videoinnehåll med Hjälp av Vision Services som datorseende, ansiktsigenkänning, känsloigenkänning eller videoindexerare.

Så här kan du bidra

Lär dig hur du kan bidra till MRTK på Bidra.

Få hjälp

Om du får problem som orsakas av MRTK eller på annat sätt har frågor om hur du gör något finns det några resurser som kan vara till hjälp: