Översikt över overklig utveckling
Att komma igång med program för mixad verklighet är en stor uppgift. Nya begrepp, plattformar och avancerad maskinvara kan verka som hinder. Men om du är unreal-utvecklare har du tur. Unreal Engine 5 har fullt stöd för Enheter med Windows Mixed Reality (VR) och HoloLens 2 (AR).
De senaste versionerna av Unreal Engine 4.27+ är:
- Plugin-programmet Windows Mixed Reality (WMR) ersätts av Plugin-programmet OpenXR och Microsoft OpenXR (Marketplace eller GitHub)
- OpenXR erbjuder funktionsparitet med WMR
- Enhetligt API för plattformsoberoende utveckling
- OpenXR tillgängligt för att skapa program i motorn – fullständig funktionsuppsättning tillgänglig med Microsoft OpenXR-plugin-programmet
- Uppdateringar av Microsoft OpenXR-plugin-program släpps när de är klara i stället för uppdateringar i motorn
- Använd plugin-programmet för grafikverktyg för Unreal för att förbättra visuell återgivning av Mixed Reality-program samtidigt som prestandan bibehålls
- HoloLensAR-plugin-programmet tas bort i Unreal 5.0
- Stöd för World Locking Tools (5.0+)
- Stöd för Azure Object Anchors (4.27+)
Mer information finns i viktig information om Unreal Engine 5.0.
Om du är nybörjare på Unreal-utveckling ska du inte hoppa i blinda. Utforska Overkliga resurser och leta efter tillgångar på Unreal Marketplace. Du kan också hitta stöd i forumen för mixad verklighet och Unreal-dokumentationen. Dessa resurser är dina länkar till communityn med byggare och problemlösare på dagens marknad för mixad verklighet.
Viktigt!
Ta en titt på vår portningsguide om du har ett befintligt Unreal-projekt som du vill ta över till uppslukande headset som Reverb G2.
Kontrollpunkter för utveckling
Använd följande kontrollpunkter för att föra in dina Unreal-spel och -program i mixad verklighets värld. Om du inte har utforskat exempelprogrammet Designa Hologram rekommenderar vi att du laddar ned det för att bekanta dig med grunderna i Mixed Reality UX.
1. Komma igång
Först måste du installera verktygen för HoloLens 2-utveckling. Gå sedan igenom vår självstudieserie för att få en grundläggande förståelse för Mixed Reality Toolkit, en korrekt konfigurerad utvecklingsmiljö för appar för mixad verklighet och ett fungerande MRTK-projekt i Unreal. Från och med Unreal 4.26 har du också möjlighet att utveckla en OpenXR-app för HoloLens 2.
| Checkpoint | Resultat |
|---|---|
| Installera de senaste verktygen | Ladda ned och installera den senaste versionen av Unreal Engine och konfigurera projektet för mixad verklighet |
| Konfigurera projektet | Hämta den senaste versionen av Unreal Engine och MRTK |
| Skapa ditt första HoloLens Unreal-program | Starta utvecklingsresan för Unreal och HoloLens genom att skapa ett grundläggande Mixed Reality-program |
| Självstudieserien HoloLens 2 | Konfigurera dig för utveckling av mixad verklighet i Unreal, skapa din första app med MRTK och distribuera din app till HoloLens 2 |
| Kom igång med OpenXR i Unreal | Installera och aktivera följande plugin-program från Unreal Engine Marketplace:Kontrollera att plugin-programmet Microsoft Windows Mixed Reality är inaktiverat. Den fullständiga listan över funktioner som stöds i OpenXR finns nedan. |
2. Grundläggande byggstenar
Det finns ett antal viktiga funktioner för mixad verklighet som vår självstudieserie inte täcker. Dessa byggstenar är tillgängliga som fristående funktioner och via Mixed Reality Toolkit. Du kanske inte behöver alla på en gång, men vi rekommenderar att du utforskar tidigt. När du har gått in i de viktigaste byggstenarna nedan har du en verktygslåda full av funktioner som du kan integrera i dina Mixed Reality-projekt.
Mixed Reality Toolkit for Unreal är en uppsättning plugin-program som är utformade för att påskynda din utveckling i Unreal. Varje plugin-program innehåller komponenter, exempel och dokumentation för att konfigurera uppslukande upplevelser.
UX Tools for Unreal är det första plugin-programmet som släpps och stöds för närvarande endast på HoloLens 2. Plugin-programmet innehåller C++-kod, skisser och exempeltillgångar för vanliga UX-funktioner för indatasimulering, handinteraktioner, ytmagnetism med mera.
Grafikverktyg för Unreal är ett UE-spel-plugin-program med kod, skisser och exempeltillgångar som skapats för att förbättra den visuella återgivningen av Mixed Reality-program samtidigt som du håller dig inom prestandabudgetar.
| Funktion | Funktioner |
|---|---|
| Indatasimulering | Använd mus- och tangentbordsindata i redigeraren för att simulera en huvudmonterad skärm (HMD) och handspårningsfunktioner |
| Handinteraktion | Interagera med UX-komponenter med hjälp av ledade handindata |
| Tryckbar knapp | Köra status för knappskisser genom lågnivåkomponenter |
| Manipulator | Flytta och rotera en aktör med en eller tvåhandsmanipuleringsindata |
| Följ beteendet | Håll en aktör eller komponent inom synhåll för en annan komponent |
Kommentar
Mer information finns i UX Tools for Unreal GitHub-lagringsplatsen.
3. Avancerade funktioner
Andra viktiga funktioner som spelar en roll i mixed reality-program är tillgängliga utan extra paket eller installation. Dessa funktioner kan läggas till i Unreal-projekt med eller utan MRTK installerat. När du har fördjupat dig i dessa mer avancerade funktioner kan du skapa mer komplexa Mixed Reality-appar.
| Funktion | Funktioner |
|---|---|
| HoloLens-kamera | Samla in mixed reality och verkligt visuellt innehåll från din app som körs på en HoloLens-enhet |
| QR-koder | Rendera QR-koder som hologram med hjälp av ett koordinatsystem vid varje kods verkliga position |
| WinRT | Skapa en separat binär fil med WinRT-kod som kan användas av Unreals byggsystem |
4. Strömma och distribuera till en enhet
Om du vill testa programmet på en HoloLens-enhet medan du fortfarande är under utveckling kan du strömma det direkt från datorn med unreal-redigeraren eller en paketerad körbar Windows-fil.
Om det här är första gången du distribuerar en Unreal-app till HoloLens 2 måste du ladda ned stödfiler från Epic Launcher. När du har installerat filerna är du redo att distribuera från unreal-redigeraren eller enhetsportalen.
5. Lägga till tjänster
I det här skedet av utvecklingsresan kanske du vill lägga till tjänster eller hjälpa dig med kommersiell distribution. Integreringen av Azure Cloud Services kan jämna ut dina projekt på ett större sätt. Vi har sammanställt några utgångspunkter där du kan utforska och utöka dina kunskaper om Mixed Reality.
Azure Spatial Anchors (ASA) är en plattformsoberoende tjänst som gör att du kan skapa rumsligt medvetna program för mixad verklighet. Med Azure Spatial Anchors kan du mappa, bevara och dela holografiskt innehåll på flera enheter i verklig skala.
6. Alternativ med låg kod
Microsoft Dynamics 365-guider är ett program för mixad verklighet för Microsoft HoloLens som låter operatörer lära sig under arbetsflödet genom att tillhandahålla holografiska instruktioner när och var de behövs. Dessa instruktionskort är visuellt tjudrade på den plats där arbetet måste göras och kan omfatta bilder, videor och holografiska 3D-modeller.
Vad händer härnäst?
En utvecklares jobb görs aldrig, särskilt när du lär dig ett nytt verktyg eller SDK. Följande avsnitt kan ta dig till områden utöver det material på nybörjarnivå som du redan har slutfört, tillsammans med användbara resurser om du fastnar. Observera att dessa ämnen och resurser inte är i sekventiell ordning, så hoppa gärna runt och utforska!
Felsökning
Om du vill felsöka programmet när det körs på en enhet med Visual Studio följer du de här anvisningarna.
Prestanda
Utveckling för mixad verklighet levereras med prestandakontrollpunkter som är beroende av plattformen. En HoloLens 2-app måste köras med 60 bildrutor per sekund för att hologram ska se stabila och dynamiska ut. Som tur är har vi prestandarekommendationer för att uppgradera prestanda i dina Unreal-program.
Funktioner som stöds
| HoloLens 2-funktion | Tidigaste version av unreal engine som stöds | Stöds i OpenXR (4.26+) |
|---|---|---|
| ARM64-stöd | 4.23 | ✔️ |
| Direktuppspelning från en dator | 4.23 | ✔️ |
| Rumslig mappning | 4.23 | ✔️ |
| Hand- och ledspårning | 4.23 | ✔️ |
| Blickspårning | 4.23 | ✔️ |
| Röstinspelning | 4.23 | ✔️ |
| Spatiala fästpunkter | 4.23 | ✔️ |
| Kameraåtkomst | 4.23 | ✔️ |
| QR-koder | 4.23 | ✔️ |
| Rumsligt ljud | 4.23 | ✔️ |
| Planar LSR över strömning | 4.24 | |
| Exempelappar | 4.24 | ✔️ |
| Mobil multivy: Prestandan når 60 fps | 4.25 | ✔️ |
| Strömma från en paketerad skrivbordsapp | 4.25.1 | ✔️ |
| Azure Spatial Anchors för HoloLens 2 | 4.25 | ✔️ |
| Stöd för Mixed Reality UX Tools | 4.25 | ✔️ |
| Utvecklardokument och självstudier | 4.25 | ✔️ |
| Systemtangentbord | 4.26 | ✔️ |
| HoloLens Mediespelare plugin-program | 4.26 | ✔️ |
| Azure Spatial Anchors för iOS och Android | 4.26 | |
| Microsoft OpenXR-plugin-program med Microsofts leverantörsspecifika OpenXR-tillägg | 4.26 | ✔️ |
| Direktuppspelning från Azure till HoloLens 2 | 4.26 | ✔️ |
| Windows App Certification Kit-efterlevnad för paketerade appar | 4.26 | ✔️ |
| Stöd för HP Reverb G2-styrenhet | 4.26 | ✔️ |