Unreal-Entwicklung – Übersicht

Unreal-Bannerlogo

Die ersten Schritte mit Mixed Reality-Anwendungen sind eine Herausforderung. Neue Konzepte, Plattformen und neuartige Hardware können sich als Hürden erweisen. Wenn Sie jedoch Unreal-Entwickler sind, haben Sie Glück. Unreal Engine 4 besitzt vollständige Unterstützung für Windows Mixed Reality (VR) und HoloLens 2 (AR)-Geräte.

Die neueste Version der Unreal Engine 4.26 umfasst:

  • Unterstützung für neue geräteübergreifende XR-APIs
  • OpenXR-Unterstützung + Microsoft OpenXR-Plug-In
  • HoloLens Media Player-Plug-In für leistungsfähige Videowiedergabe
  • Azure Spatial Anchors für iOS und Android (Beta)
  • Unterstützung von umgekehrten Verbindungen beim Remoting, Aktivieren von Azure auf HoloLens 2
  • Zugriff auf die HoloLens 2-Systemtastatur
  • Compliance des Zertifizierungskits für Windows-Apps für verpackte Apps
  • Unreal Insights-Unterstützung für HoloLens 2
  • Unterstützung für den HP Reverb G2-Controller

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version von Unreal Engine 4.26.

Wenn Sie noch nicht mit der Unreal-Entwicklung vertraut sind, sollten Sie sich zunächst etwas einarbeiten. Sehen Sie sich die Tutorialreihe zu Unreal an und suchen Sie im Unreal Marketplace nach Ressourcen. Unterstützung finden Sie auch in den Mixed Reality-Foren. Bei diesen Ressourcen handelt es sich um Links zur Community von Entwicklern und Problemlösern auf dem Gebiet der Mixed Reality.

Wichtig

Werfen Sie einen Blick auf unsere Portierungsleitfäden , wenn Sie ein vorhandenes Unreal-Projekt auf immersiven Headsets wie dem Reverb G2 bereitstellen möchten.

Prüfpunkte für die Entwicklung

Nutzen Sie die folgenden Prüfpunkte, um Ihre Unreal-Spiele und Anwendungen in eine Mixed Reality-Welt einzubringen. Wenn Sie sich noch nicht mit der Beispielanwendung zum Entwerfen von Hologrammen befasst haben, empfehlen wir Ihnen, sie herunterzuladen, um sich mit den Grundlagen von Mixed Reality UX vertraut zu machen.

1. Erste Schritte

Zunächst müssen Sie die Tools für die HoloLens 2-Entwicklung installieren. Als Nächstes arbeiten Sie unsere Tutorialreihe durch, um ein grundlegendes Verständnis des Mixed Reality Toolkits, eine ordnungsgemäß konfigurierte Entwicklungsumgebung für Mixed Reality-Apps und ein funktionierendes MRTK-Projekt in Unreal zu erhalten. Ab Unreal 4.26 besitzen Sie auch die Möglichkeit, eine OpenXR-App für HoloLens 2 zu entwickeln.

Prüfpunkt Ergebnis
Installieren der neuesten Tools Laden Sie die neueste Version der Unreal Engine herunter, installieren Sie sie, und richten Sie Ihr Projekt für Mixed Reality ein
Einrichten des Projekts Abrufen der neuesten Version der Unreal Engine und des MRTK
Erstellen Ihrer ersten HoloLens Unreal-Anwendung Beginnen Sie Ihre Reise in die Unreal- und HoloLens-Entwicklung mit dem Erstellen einer einfachen Mixed Reality-Anwendung
Hololens 2-Tutorialreihe Richten Sie sich für die Mixed Reality-Entwicklung in Unreal ein, erstellen Sie Ihre erste App mit MRTK, und stellen Sie Ihre App in HoloLens 2 bereit.
Erste Schritte mit OpenXR in Unreal Installieren und aktivieren Sie das folgende Plug-In aus dem Unreal Engine Marketplace:Stellen Sie sicher, dass das Microsoft Windows Mixed Reality-Plug-In deaktiviert ist.

Die vollständige Liste der derzeit unterstützten Funktionen in OpenXR finden Sie weiter unten.

2. Grundbausteine

Es gibt eine Reihe wichtiger Mixed Reality-Features, die in unserer Tutorialreihe nicht behandelt werden. Diese Bausteine stehen als eigenständige Features und über das Mixed Reality Toolkit zur Verfügung. Sie benötigen sie möglicherweise nicht alle auf einmal, aber wir empfehlen Ihnen, sich frühzeitig mit ihnen vertraut zu machen. Nachdem Sie sich mit den unten aufgeführten Grundbausteinen beschäftigt haben, verfügen Sie über eine mit Funktionen angefüllte Toolbox, die Sie in Ihr Mixed Reality-Projekt integrieren können.

Das Mixed Reality-Toolkit für Unreal bietet eine Reihe von Plug-Ins, die entwickelt wurden, um Ihre Entwicklung für Unreal zu beschleunigen. Jedes Plug-In enthält Komponenten, Beispiele und Dokumentation zum Einrichten von immersiven Erlebnissen.

  • UX Tools für Unreal ist das erste Plug-In, das veröffentlicht wird. Derzeit wird es nur auf HoloLens 2 unterstützt. Das Plug-In enthält C++-Code, Blaupausen und Beispielressourcen für gängige UX-Funktionen für Eingabesimulationen, Handinteraktionen, Oberflächenmagnetismus und vieles mehr.

  • Grafiktools für Unreal ist ein UE-Spiele-Plug-In mit Code, Blaupausen und Beispielobjekten, die erstellt wurden, um die visuelle Genauigkeit von Mixed Reality-Anwendungen zu verbessern und gleichzeitig Leistungsbudgets einzuhalten.

Funktion Funktionen
Eingabesimulation Verwenden Sie Maus- und Tastatureingabe im Editor, um ein HMD (Head-Mounted Display) und Features des Handtrackings zu simulieren
Handinteraktion Interagieren Sie mit UX-Komponenten mithilfe von artikulierten Handeingaben
Drückbare Schaltfläche Steuern Sie den Status von Schaltflächen-Blaupausen mithilfe von Low-Level-Komponenten
Manipulator Bewegen und drehen Sie einen Akteur mit ein- oder zweihändigen Manipulationseingaben
Folgeverhalten Halten Sie einen Akteur oder eine Komponente im Blickfeld einer anderen Komponente

Hinweis

Weitere Informationen finden Sie im UX-Tools für Unreal GitHub -Repository.

3. Erweiterte Features

Andere wichtige Features, die in Mixed Reality-Anwendungen eine Rolle spielen, sind ohne Zusatzpakete oder Setup verfügbar. Diese Features können Unreal-Projekten mit oder ohne installiertes MRTK hinzugefügt werden. Nachdem Sie sich mit diesen erweiterten Funktionen beschäftigt haben, werden Sie imstande sein, komplexere Mixed Reality-Apps zu erstellen.

Funktion Funktionen
HoloLens-Kamera Erfassen Sie visuelle Inhalte aus Mixed Reality und der realen Welt aus ihrer App, die auf einem HoloLens-Gerät ausgeführt wird
QR-Codes Geben Sie QR-Codes mithilfe eines Koordinatensystems an der Position der einzelnen Codes in der realen Welt als Hologramme wieder
WinRT Erstellen Sie eine separate Binärdatei mit WinRT-Code, die vom Buildsystem von Unreal genutzt werden kann

4. Streaming und Bereitstellung auf einem Gerät

Wenn Sie Ihre Anwendung auf einem HoloLens-Gerät testen möchten, während sie sich noch in der Entwicklung befindet, können Sie sie direkt von Ihrem PC streamen, indem Sie entweder den Unreal-Editor oder eine verpackte ausführbare Windows-Datei verwenden.

Wenn Sie zum ersten Mal eine Unreal-App für HoloLens 2 bereitstellen, müssen Sie aus dem Epic-Startprogramm unterstützende Dateien herunterladen. Nachdem Sie diese Dateien installiert haben, können Sie die Bereitstellung entweder über den Unreal-Editor oder über das Geräteportal durchführen.

5. Hinzufügen von Diensten

An diesem Punkt auf Ihrem Entwicklungsweg suchen Sie vielleicht nach Möglichkeiten zum Hinzufügen von Diensten oder nach Hilfe zur kommerziellen Bereitstellung. Das Integrieren von Azure Cloud Services kann Ihre Projekte auf eine ganz andere Stufe heben. Wir haben für Sie einige Ausgangspunkte zum Erkunden und zum Erweitern Ihrer Mixed Reality-Kenntnisse zusammengetragen.

Azure Spatial Anchors (ASA) ist ein plattformübergreifender Dienst, der es Ihnen ermöglicht, Mixed Reality-Anwendungen mit räumlicher Wahrnehmung zu erstellen. Mithilfe von Azure Spatial Anchors können Sie holografische Inhalte über mehrere Geräte und im realen Maßstab hinweg zuordnen, speichern und teilen.

6. Low-Code-Alternativen

Microsoft Dynamics 365-Leitfäden sind eine Mixed Reality-Anwendung für Microsoft HoloLens, mit der Operatoren während der praktischen Arbeit lernen, weil ihnen holografische Anweisungen geboten werden, wann und wo sie gebraucht werden. Diese Anweisungskarten sind mit dem Ort, an dem die Arbeit erledigt werden muss, visuell verknüpft, und können Bilder, Videos und holografische 3D-Modelle beinhalten.

Wie geht es weiter?

Die Arbeit eines Entwicklers ist nie getan, insbesondere nicht beim Lernen eines neuen Tools oder SDKs. Die folgenden Abschnitte führen Sie in Gebiete, die jenseits des Materials auf Einstiegsniveau liegen, das Sie bereits durchgearbeitet haben, ergänzt um nützliche Ressourcen, wenn es einmal hakt. Beachten Sie, dass diese Themen und Ressourcen keine bestimmte Reihenfolge aufweisen, tauchen Sie also ruhig ein!

Debuggen

Wenn Sie die Anwendung mit Visual Studio debuggen möchten, während sie auf dem Gerät ausgeführt wird, befolgen Sie diese Anweisungen.

Leistung

Die Entwicklung für Mixed Reality ist mit Leistungsprüfpunkten verbunden, die von der Plattform abhängen. Eine HoloLens 2-App muss mit 60 Frames pro Sekunde ausgeführt werden, um stabile und reaktionsfähige Hologramme zu erhalten. Glücklicherweise stehen Leistungsempfehlungen zur Verfügung, mit denen Sie die Leistung Ihrer Unreal-Anwendungen steigern können.

Unterstützte Features

HoloLens 2-Feature Niedrigste unterstützte Unreal Engine-Version Unterstützt in OpenXR (4.26+)
ARM64-Unterstützung 4.23 ✔️
Streaming von einem PC 4.23 ✔️
Räumliche Abbildung 4.23 ✔️
Hand- und Gelenktracking 4.23 ✔️
Eyetracking – Blickverfolgung 4.23 ✔️
Spracheingabe 4.23 ✔️
Raumanker 4.23 ✔️
Kamerazugriff 4.23 ✔️
QR-Codes 4.23 ✔️
Räumliche Audiowiedergabe 4.23 ✔️
Planar-LSR über Streaming 4.24
Beispiel-Apps 4.24 ✔️
Mobile Multiansicht: Leistung erreicht 60 FPS 4.25 ✔️
Streaming aus einer verpackten Desktop-App 4.25.1 ✔️
Azure Spatial Anchors für HoloLens 2 4.25 ✔️
Unterstützung von Mixed Reality UX Tools 4.25 ✔️
Dokumentation und Tutorials für Entwickler 4.25 ✔️
Systemtastatur 4.26 ✔️
HoloLens Media Player-Plug-In 4.26 ✔️
Azure Spatial Anchors für iOS und Android 4.26
Microsoft OpenXR-Plug-In mit den herstellerspezifischen OpenXR-Erweiterungen von Microsoft 4.26 ✔️
Streaming von Azure zu HoloLens 2 4.26 ✔️
Compliance des Zertifizierungskits für Windows-Apps für verpackte Apps 4.26 ✔️
Unterstützung für den HP Reverb G2-Controller 4.26 ✔️

Siehe auch