Wat is Mixed Reality Toolkit 2?
MRTK-Unity is een door Microsoft aangestuurd project dat een set van componenten en functies biedt, die gebruikt worden om cross-platform MR-appontwikkeling in Unity te versnellen. Dit zijn enkele van de functies:
- Biedt het platformoverschrijdende invoersysteem en bouwstenen voor ruimtelijke interacties en gebruikersinterface.
- Maakt snelle prototypen mogelijk via simulatie in de editor, zodat u wijzigingen direct kunt zien.
- Werkt als een uitbreidbaar framework dat ontwikkelaars de mogelijkheid biedt om kernonderdelen te wisselen.
- Ondersteunt een breed scala aan apparaten:
XR SDK-invoegtoepassing (Unity XR Plugin Management Plugin-providers) | Ondersteunde apparaten |
---|---|
Unity OpenXR-invoegtoepassing (Unity 2020 of 2021 LTS) (Mixed Reality OpenXR-invoegtoepassing vereist voor bepaalde functies op bepaalde apparaten) |
Microsoft HoloLens 2 Windows Mixed Reality-headsets Meta Quest Apparaat dat wordt uitgevoerd op SteamVR via OpenXR |
Windows XR-invoegtoepassing | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality-headsets |
Oculus XR-invoegtoepassing (Unity 2019 of nieuwer LTS) | Meta Quest (via Oculus Integration Package) |
ARCore XR-invoegtoepassing | Android (via AR Foundation) |
ARKit XR-invoegtoepassing | iOS (via AR Foundation) |
XR SDK-invoegtoepassing (Unity XR Plugin Management Plugin-providers) | Ondersteunde apparaten |
---|---|
Unity OpenXR-invoegtoepassing (preview in MRTK 2.6, Unity 2020 of 2021 LTS) (Mixed Reality OpenXR-invoegtoepassing vereist voor bepaalde functies op bepaalde apparaten) |
Microsoft HoloLens 2 Windows Mixed Reality-headsets Meta Quest Apparaat dat wordt uitgevoerd op SteamVR via OpenXR |
Windows XR-invoegtoepassing | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality-headsets |
Oculus XR-invoegtoepassing (Unity 2019 of nieuwer LTS) | Meta Quest (via Oculus Integration Package) |
ARCore XR-invoegtoepassing | Android (via AR Foundation) |
ARKit XR-invoegtoepassing | iOS (via AR Foundation) |
Aanvullende apparaten die worden ondersteund:
- Ultraleap Leap Motion-controller voor handtracering
Notitie
We hebben de openbare preview van MRTK3 geïntroduceerd, het volgende hoofdstuk van MRTK. Ga voor meer informatie naar de MRTK3-documentatie.
Aan de slag met MRTK
Als u nog niet bekend bent met MRTK of Mixed Reality ontwikkelen in Unity, raden we u aan de voorbeeldtoepassing MRTK Examples Hub op uw apparaat of emulator te installeren en te verkennen.
Zodra u onder de knie hebt wat Mixed Reality en MRTK te bieden heeft, installeert u de benodigde hulpprogramma's en volgt u onze reeks zelfstudies op beginnersniveau HoloLens 2.
Wil je zien wat er onder de motorkap gebeurt?
Documentatie
Releaseopmerkingen |
MRTK-overzicht |
Naslaginformatie voor API |
---|
Buildstatus
Vertakking | CI-status | Docs-status |
---|---|---|
main |
Functiegebieden
UX-bouwstenen
Een knopbesturingselement dat ondersteuning biedt voor verschillende invoermethoden, waaronder de gelede hand van HoloLens 2
Besturingselement grenzen
Standaardgebruikersinterface voor het bewerken van objecten in 3D-ruimte
Object Manipulator
Script voor het bewerken van objecten met één of twee handen
Leisteenslei
2D-stijlvlak dat schuiven met gelede handinvoer ondersteunt
Systeemtoetsenbord
Voorbeeldscript van het gebruik van het systeemtoetsenbord in Unity
Interactiebaar
Een script om objecten interactief te maken met visuele statussen en ondersteuning voor thema's
Oplosser
Verschillende objectpositioneringsgedragen, zoals tag-along, body-lock, constante weergavegrootte en oppervlakte magnetisme
Objectverzamelingsobjectverzameling
Script voor het opmaken van een matrix met objecten in een driedimensionale vorm
Knopinfo
Gebruikersinterface voor aantekeningen met een flexibel anker-/draaisysteem, dat kan worden gebruikt voor het labelen van bewegingscontrollers en objecten
Gebruikersinterface met schuifregelaar voor het aanpassen van waarden die directe interactie met handtracering ondersteunen
MRTK Standard Shader
De Standaard shader van MRTK ondersteunt verschillende Fluent-ontwerpelementen met prestaties
Handmenu
Met de hand vergrendelde gebruikersinterface voor snelle toegang, met behulp van handbeperking oplosser
App-balk App-balk
Gebruikersinterface voor handmatige activering van Bounds Control
Binnenbereikvisualisatie
Visuele betaalbaarheid binnen handbereik, wat het vertrouwen voor de directe interactie verbetert
Near Menu
Gebruikersinterface voor zwevend menu voor de bijna-interacties
Spatial Awareness View
Uw holografische objecten laten communiceren met de fysieke omgevingen
Spraakopdracht
Scripts en voorbeelden voor het integreren van spraakinvoer
Dialoogvenster
Gebruikersinterface voor het vragen om bevestiging of bevestiging van de gebruiker
Handcoach Handcoach
Onderdeel dat de gebruiker helpt bij het leren van het gebaar
Hand Physics Service [Experimenteel]
De handfysica-service maakt botsgebeurtenissen en interacties met gearticuleerde handen mogelijk
Scrolling Collection
Een objectverzameling die systeemeigen 3D-objecten schuift
Dock [experimenteel]
Met het dock kunnen objecten in en uit vooraf bepaalde posities worden verplaatst
Oogtracering: Doelselectie
Combineer ogen, stem en handinvoer om snel en moeiteloos hologrammen in uw scène te selecteren
Oogtracering: Navigatie
Meer informatie over het automatisch schuiven van tekst of het vloeiend inzoomen op gerichte inhoud op basis van wat u bekijkt
Eye Tracking: Heat map
Voorbeelden voor het registreren, laden en visualiseren van wat gebruikers in uw app hebben bekeken
Hulpprogramma's
Afhankelijkheidsvenster | Build-venster | Invoeropname | |
---|---|---|---|
Configuratie van Mixed Reality-projecten automatiseren voor prestatieoptimalisaties | Afhankelijkheden tussen assets analyseren en ongebruikte assets identificeren | Een end-to-end-buildproces configureren en uitvoeren voor Mixed Reality toepassingen | Gegevens over hoofdbewegingen en handtracering opnemen en afspelen in de editor |
Voorbeeldscènes
MRTK biedt voorbeeldscènes die laten zien hoe u de functies van MRTK kunt gebruiken. U vindt de voorbeeldscènes onder de map Assets/MRTK/Examples/Demos. Lees de pagina Voorbeeldscènes voor meer informatie over het verkrijgen en uitvoeren van voorbeeldscènes. De scène Handinteractievoorbeelden is een geweldige plek om de bouwstenen van MRTK voor interacties en gebruikersinterface te ervaren.
HUB MRTK-voorbeelden
Met de MRTK Examples Hub kunt u verschillende voorbeeldscènes in MRTK proberen zonder elke scène te bouwen en te implementeren. U kunt vooraf gemaakte app-pakketten voor HoloLens(x86), HoloLens 2(ARM) en Windows Mixed Reality immersive headsets (x64) downloaden door het pakket 'Mixed Reality Toolkit Examples' te selecteren in het MR-functieprogramma. Zorg ervoor dat u de Windows-apparaatportal gebruikt om apps te installeren op HoloLens (1e generatie). Op HoloLens 2 kunt u MRTK Examples Hub downloaden en installeren via de Microsoft Store-app.
Zie de pagina Voorbeelden Hub README voor meer informatie over het maken van een hub met meerdere scènes met het scènesysteem en de scèneovergangsservice van MRTK.
Voorbeeld-apps die zijn gemaakt met MRTK
Periodic Table of the Elements is een opensource-voorbeeld-app die laat zien hoe u het invoersysteem en de bouwstenen van MRTK kunt gebruiken om een app-ervaring te maken voor HoloLens- en Immersive-headsets. Lees het verhaal over overzetten: Het periodiek systeem van de elements-app naar HoloLens 2 brengen met MRTK v2 | Galaxy Explorer is een opensource-voorbeeld-app die oorspronkelijk is ontwikkeld in maart 2016 als onderdeel van de HoloLens 'Share Your Idea'-campagne. Galaxy Explorer is bijgewerkt met nieuwe functies voor HoloLens 2, met behulp van MRTK v2. Lees het verhaal: The Making of Galaxy Explorer for HoloLens 2 | Surfaces is een opensource-voorbeeld-app voor HoloLens 2 die verkent hoe we een tactiele sensatie kunnen creëren met visuele, audio en volledig gearticuleerde handtracering. Bekijk Microsoft MR Dev Days-sessie Learnings van de Surfaces-app voor het gedetailleerde ontwerp- en ontwikkelingsverhaal. |
Sessievideo's van Mixed Reality Dev Days 2020
Zie Mixed Reality Dev Days voor meer sessievideo's.
Contact opnemen met de community
Neem deel aan het gesprek rond MRTK op Slack. U kunt lid worden van de Slack-community via de automatische afzender van de uitnodiging.
Stel vragen over het gebruik van MRTK in Stack Overflow met behulp van de MRTK-tag .
Zoek naar bekende problemen of dien een nieuw probleem in als er iets beschadigd is in MRTK-code.
Voor vragen over het bijdragen aan MRTK gaat u naar het kanaal mixed-reality-toolkit op Slack.
Op dit project is de Microsoft Open Source Code of Conduct (Microsoft Open Source-gedragscode) van toepassing. Raadpleeg de Veelgestelde vragen over de gedragscode voor meer informatie of neem contact op met opencode@microsoft.com als u meer vragen of opmerkingen hebt.
Nuttige bronnen in Mixed Reality-ontwikkelaarscentrum
Ontdekken | Distribueren | ||
---|---|---|---|
Meer informatie over het bouwen van mixed reality-ervaringen voor HoloLens en immersive headsets (VR). | Ontwerphandleidingen downloaden. Gebruikersinterface bouwen. Meer informatie over interacties en invoer. | Download ontwikkelingshandleidingen. Leer de technologie. De wetenschap begrijpen. | Bereid uw app voor op anderen en overweeg een 3D-startprogramma te maken. |
Nuttige resources in Azure
Spatial Anchors |
Speech Services | Vision Services |
---|---|---|
Spatial Anchors is een platformoverschrijdende service waarmee u Mixed Reality ervaringen kunt maken met behulp van objecten die hun locatie in de loop van de tijd op verschillende apparaten behouden. | Ontdek en integreer spraakmogelijkheden met azure, zoals spraak-naar-tekst, sprekerherkenning of spraakomzetting in uw toepassing. | Identificeer en analyseer uw afbeeldings- of video-inhoud met behulp van Vision Services, zoals Computer Vision, gezichtsdetectie, emotieherkenning of video-indexeerfunctie. |
Hoe kunt u bijdragen
Meer informatie over hoe u kunt bijdragen aan MRTK op Bijdragen.
Ondersteuning vragen
Als u problemen ondervindt die worden veroorzaakt door MRTK of anderszins vragen hebt over hoe u iets kunt doen, zijn er enkele bronnen die u kunnen helpen:
- Voor foutrapporten kunt u een probleem melden in de GitHub-opslagplaats.
- Voor vragen kunt u contact opnemen via StackOverflow of het mixed reality-toolkit-kanaal op Slack. U kunt lid worden van de Slack-community via de automatische afzender van de uitnodiging.