Vue d’ensemble du développement Unreal
Bien démarrer avec les applications de réalité mixte n’est pas chose aisée. Nouveaux concepts, nouvelles plateformes, matériel de pointe : tout cela peut être vu comme un obstacle. Toutefois, si vous êtes développeur Unreal, vous avez de la chance. Unreal Engine 5 offre une prise en charge complète des appareils Windows Mixed Reality (réalité virtuelle) et HoloLens 2 (réalité augmentée).
La dernière version d’Unreal Engine 4.27+ comprend les éléments suivants :
- Plug-in Windows Mixed Reality (WMR) remplacé par OpenXR et le plug-in Microsoft OpenXR (Marketplace ou GitHub)
- OpenXR offre une parité des fonctionnalités avec WMR
- API unifiée pour le développement multiplateforme
- OpenXR disponible pour la création d’applications intégrées au moteur : ensemble de fonctionnalités complet disponible avec le plug-in Microsoft OpenXR
- Les mises à jour du plug-in Microsoft OpenXR sont publiées dès qu’elles sont opérationnelles, au lieu d’être intégrées dans le moteur
- Utilisez le plug-in Graphics Tools for Unreal afin d’améliorer la fidélité visuelle des applications Mixed Reality sans nuire aux performances
- Le plug-in HoloLensAR a été supprimé d’Unreal 5.0
- Prise en charge de World Locking Tools (5.0+)
- Prise en charge d’Azure Object Anchors (4.27+)
Pour plus d’informations, consultez les notes de publication d’Unreal Engine 5.0.
Si vous n’avez aucune expérience en développement Unreal, ne vous lancez pas tête baissée. Explorez les ressources Unreal et recherchez des ressources dans la Place de marché Unreal. Vous trouverez également du support dans les forums sur la réalité mixte et dans la documentation Unreal. Ces ressources constituent vos liens avec la communauté de concepteurs et de solutionneurs de problèmes sur le marché de la réalité mixte d’aujourd’hui.
Important
Jetez un coup d’œil à nos guides de portage si vous avez un projet Unreal existant que vous voulez passer sur des casques immersifs, comme le Reverb G2.
Points de contrôle de développement
Utilisez les points de contrôle suivants pour amener vos jeux et applications Unreal dans le monde de la réalité mixte. Si vous n’avez pas exploré l’exemple d’application Designing Holograms, nous vous recommandons de le télécharger pour vous familiariser avec les bases de l’expérience utilisateur de la réalité mixte.
1. Mise en route
Tout d’abord, vous devez installer les outils pour le développement HoloLens 2. Ensuite, parcourez notre série de tutoriels pour acquérir des connaissances de base sur le Mixed Reality Toolkit, un environnement de développement correctement configuré pour les applications de réalité mixte et un projet MRTK opérationnel dans Unreal. À partir d’Unreal 4.26, vous avez également la possibilité de développer une application OpenXR pour HoloLens 2.
| Point de contrôle | Résultat |
|---|---|
| Installer les outils les plus récents | Télécharger et installer la dernière version d’Unreal Engine, et configurer votre projet pour la réalité mixte |
| Configuration de votre projet | Obtenir la dernière version de MRTK et d’Unreal Engine |
| Création de votre première application HoloLens Unreal | Commencez votre parcours de développement Unreal et HoloLens en créant une application de réalité mixte de base |
| Série de tutoriels HoloLens 2 | Préparer le développement d’applications de réalité mixte dans Unreal, créer votre première application avec MRTK et déployer votre application sur HoloLens 2 |
| Bien démarrer avec OpenXR dans Unreal | Installez et activez le plug-in suivant à partir de la marketplace Unreal Engine :Assurez-vous que le plug-in Microsoft Windows Mixed Reality est désactivé. La liste complète des fonctionnalités actuellement prises en charge dans OpenXR figure ci-dessous. |
2. Fonctionnalités principales
Il existe plusieurs fonctionnalités clés de réalité mixte que notre série de tutoriels ne couvre pas. Ces modules sont disponibles en tant que fonctionnalités autonomes et par le biais du Mixed Reality Toolkit. Vous n’aurez peut-être pas besoin de tous ces modules à la fois, mais nous vous recommandons de les explorer au plus tôt. Après avoir exploré les modules de base listés ci-dessous, vous disposerez d’une boîte à outils remplie de fonctionnalités que vous pourrez intégrer dans vos projets de réalité mixte.
Mixed Reality Toolkit pour Unreal est un ensemble de plug-ins conçus pour accélérer votre développement dans Unreal. Chaque plug-in comprend des composants, des exemples et une documentation pour configurer des expériences immersives.
UX Tools for Unreal est le premier plug-in à être publié et est actuellement pris en charge sur HoloLens 2 uniquement. Ce plug-in comprend du code C++, des blueprints et des exemples de ressources pour des fonctionnalités d’expérience utilisateur courantes comme la simulation d’entrée, les interactions manuelles, l’aimantation de surface, etc.
Graphics Tools pour Unreal est un plug-in de jeu UE avec du code, des blueprints et des exemples de ressources créés pour aider à améliorer la fidélité visuelle des applications de réalité mixte tout en restant dans les limites des budgets de performances.
| Fonctionnalité | Fonctions |
|---|---|
| Simulation d’entrée | Utilisez une entrée de souris et de clavier dans l’éditeur pour simuler un casque audiovisuel et des fonctionnalités de suivi de la main |
| Interaction manuelle | Interagissez avec des composants d’expérience utilisateur à l’aide d’entrées manuelles articulées |
| Bouton sur lequel appuyer | Pilotez l’état des blueprints de bouton par le biais de composants de bas niveau |
| Manipulateur | Déplacez et faites pivoter un acteur avec une entrée de manipulation à une ou deux mains |
| Comportement suiveur | Maintenez un acteur ou un composant à portée de vue d’un autre composant |
Remarque
Pour plus d’informations, explorez le dépôt UX Tools pour Unreal sur GitHub .
3. Fonctionnalités avancées
D’autres fonctionnalités clés qui jouent un rôle dans les applications de réalité mixte sont disponibles sans aucun package ou configuration supplémentaire. Ces fonctionnalités peuvent être ajoutées aux projets Unreal même si MRTK n’est pas installé. Après avoir exploré ces fonctionnalités avancées, vous pourrez créer des applications de réalité mixte plus complexes.
| Fonctionnalité | Fonctions |
|---|---|
| Caméra HoloLens | Capturez la réalité mixte et le contenu visuel du monde réel à partir de votre application exécutée sur un appareil HoloLens. |
| Codes QR | Affichez les codes QR sous la forme d’hologrammes à l’aide d’un système de coordonnées à la position de chaque code dans le monde réel. |
| WinRT | Créez un binaire distinct avec du code WinRT pouvant être consommé par le système de génération d’Unreal. |
4. Streaming et déploiement sur un appareil
Si vous souhaitez tester votre application en cours de développement sur un appareil HoloLens, vous pouvez la diffuser en streaming directement à partir de votre PC à l’aide de l’éditeur Unreal ou d’un fichier exécutable Windows empaqueté.
S’il s’agit de la première fois que vous déployez une application Unreal sur HoloLens 2, vous devrez télécharger les fichiers de prise en charge à partir de l’Epic Launcher. Une fois que ces fichiers sont installés, vous pouvez effectuer le déploiement à partir de l’éditeur Unreal ou du portail de l’appareil.
5. Ajout de services
À ce stade de votre parcours de développement, vous souhaiterez peut-être ajouter des services ou bénéficier d’une aide au déploiement commercial. L’intégration des services cloud Azure peut constituer un atout majeur pour vos projets. Nous avons compilé quelques points de départ qui vous permettront de découvrir et d’étendre vos connaissances en réalité mixte.
Azure Spatial Anchors (ASA) est un service multiplateforme qui vous permet de créer des applications de réalité mixte avec reconnaissance spatiale. Avec Azure Spatial Anchors, vous pouvez mapper, conserver et partager du contenu holographique sur plusieurs appareils, à l’échelle du monde réel.
6. Alternatives avec peu de code
Microsoft Dynamics 365 Guides est une application de réalité mixte pour Microsoft HoloLens qui permet aux opérateurs d’acquérir des compétences tout au long de leur travail en fournissant des instructions holographiques quand et où elles sont nécessaires. Ces fiches d’instructions sont visuellement attachées à l’endroit où le travail doit être effectué, et peuvent inclure des images, des vidéos et des modèles holographiques 3D.
Quelle est l’étape suivante ?
Le travail d’un développeur n’est jamais terminé, en particulier lorsqu’il s’agit d’apprendre un nouvel outil ou SDK. Les sections suivantes peuvent vous amener dans des domaines qui vont au-delà de la documentation niveau débutant que vous connaissez déjà, et vous fournir des ressources utiles si vous êtes bloqué. Notez que ces rubriques et ressources ne sont pas listées dans un ordre séquentiel particulier. N’hésitez donc pas à vous y plonger et à les explorer !
Débogage
Si vous envisagez de déboguer l’application avec Visual Studio pendant qu’elle s’exécute sur un appareil, suivez ces instructions.
Performances
Le développement pour la réalité mixte s’accompagne de points de contrôle de performances qui varient en fonction de la plateforme. Une application HoloLens 2 doit s’exécuter à 60 images par seconde pour que les hologrammes apparaissent stables et réactifs. Heureusement, nous avons des recommandations sur les performances pour les mettre à niveau dans vos applications Unreal.
Fonctionnalités prises en charge
| Fonctionnalité HoloLens 2 | Version la plus ancienne d’Unreal Engine prise en charge | Prise en charge dans OpenXR (4.26+) |
|---|---|---|
| Prise en charge d’ARM64 | 4.23 | ✔️ |
| Streaming depuis un PC | 4.23 | ✔️ |
| Mappage spatial | 4.23 | ✔️ |
| Suivi des mains et des articulations | 4.23 | ✔️ |
| Eye-tracking | 4.23 | ✔️ |
| Entrée vocale | 4.23 | ✔️ |
| Ancres spatiales | 4.23 | ✔️ |
| Accès à la caméra | 4.23 | ✔️ |
| Codes QR | 4.23 | ✔️ |
| Audio spatial | 4.23 | ✔️ |
| LSR plan en streaming | 4.24 | |
| Exemples d’application | 4.24 | ✔️ |
| Multivue mobile : Les performances atteignent 60 i/s | 4.25 | ✔️ |
| Streaming partir d’une application de poste de travail empaquetée | 4.25.1 | ✔️ |
| Azure Spatial Anchors pour HoloLens 2 | 4.25 | ✔️ |
| Prise en charge de Mixed Reality UX Tools | 4.25 | ✔️ |
| Documentation et tutoriels pour les développeurs | 4.25 | ✔️ |
| Clavier système | 4.26 | ✔️ |
| Plug-in du Lecteur multimédia HoloLens | 4.26 | ✔️ |
| Azure Spatial Anchors pour iOS et Android | 4.26 | |
| Plug-in Microsoft OpenXR avec les extensions OpenXR propres aux fournisseurs Microsoft | 4.26 | ✔️ |
| Streaming à partir depuis Azure vers HoloLens 2 | 4.26 | ✔️ |
| Conformité du kit de certification des applications Windows pour les applications empaquetées | 4.26 | ✔️ |
| Prise en charge des contrôleurs HP Reverb G2 | 4.26 | ✔️ |