Fonctionnalités de réalité mixte - Exemples et applications

Image d’un utilisateur portant un HoloLens et manipulant un hologramme en déplaçant les mains

Chaque parcours de développement commence par un retour sur ce que les autres développeurs ont réussi à créer. De ce point de vue, la réalité mixte ne fait pas exception à la règle. Tous nos tutoriels et exemples d’applications sont actuellement créés dans Unity ou Unreal. À mesure que nous développerons du contenu pour d’autres moteurs et plateformes, nous ajouterons des titres à la table des matières.

Exemples d’applications - Études de cas

Les exemples d’applications open source ont été créés par nos équipes pour vous aider à vous familiariser directement avec le développement de contenus de réalité mixte. Nous avons fourni les projets et le code source complet en tant que référence de formation.

Exemples d’applications open source HoloLens 2

Ces exemples d’applications sont créés avec le Mixed Reality Toolkit pour Unity.

Exemples d’applications open source HoloLens (première génération)

Exemples de fonctionnalités

Pour chacun des scénarios de développement listés ci-dessous, vous trouverez des exemples de fonctionnalités qui correspondent à des implémentations spécifiques traitées dans notre documentation et qui couvrent un large éventail de plateformes de développement et de périphériques matériels.

Scénario Exemple de fonctionnalité Moteur Description
Créer des scénarios de réalité mixte Unity de base Exemples OpenXR avec Unity Unity C# Démarrez avec des outils de développement multiplateforme, Unity 2020.LTS et le plug-in OpenXR le plus récent.
Stratégies d’ancrage Ancre locale Créez des ancres spatiales persistantes et partagez-les entre plusieurs sessions d’application et appareils. Consultez l’article Ancres spatiales.
Exemples Azure Spatial Anchors Créez des applications de réalité mixte à reconnaissance spatiale avec les fonctionnalités essentielles d’Azure Spatial Anchors.
Codes QR Unity C# Détectez les codes QR dans l’environnement.
Collaboration en réalité mixte Identité de l’utilisateur Unity C# Configurez votre appareil HoloLens 2 en utilisant les informations d’identification d’Azure Active Directory (AAD).
Exemple WebRTC Unity C# Intégrez la communication P2P en temps réel (audio, vidéo et données) dans une application de réalité mixte.
Exemples Azure Spatial Anchors Créez des applications de réalité mixte à reconnaissance spatiale avec les fonctionnalités essentielles d’Azure Spatial Anchors.
Interaction spatiale Exemple d’hologramme de base Windows 10 C++ Affichez un cube qui tourne dans Windows Mixed Reality.
Compréhension des scènes/objets Exemples de compréhension des scènes Unity C# Concevez des applications de réalité mixte prenant en charge l’environnement.
Exemples Azure Object Anchors Unity C# Détectez un objet du monde physique avec un modèle 3D et estimez sa position 6DoF avec Azure Object Anchors.
Superpositions de données contextuelles Codes QR Unity C# Détectez les codes QR dans l’environnement.
Exemple de suivi d’un poster Unity C# Alignez un hologramme avec un objet réel.
Créer des jumeaux numériques de réalité mixte Unity C# Apprenez à créer une application de réalité mixte avec Azure Digital Twins et Unity, plateforme 3D en temps réel.
Capture des données de l’appareil photo Exemple de capture de réalité mixte Windows 10 C++ Capturez l’expérience à la première personne du mélange des mondes réel et numérique sous forme de photo ou de vidéo.
Exemples Spectator View Unity C# Capturez et affichez des hologrammes avec la bonne taille et la bonne orientation.
Exemples du mode de recherche Windows 10 C++ Accès aux capteurs de clé sur un appareil HoloLens pour les applications de recherche.
Communication à distance holographique Holographic Remoting Player Windows 10 C++ Diffusez en streaming le contenu holographique d’un PC sur votre Microsoft HoloLens en temps réel avec une connexion Wi-Fi.
Exemples Azure Remote Rendering Unity C# Testez le service Azure Remote Rendering en utilisant les ressources des exemples de données listés ici.
Gestion des tâches et conseils Dynamics 365 Remote Assist Collaborez plus efficacement en travaillant en équipe depuis différents endroits avec Dynamics 365 Remote Assist sur des appareils HoloLens, HoloLens 2, Android ou iOS.
Dynamics 365 Guides Facilitez l’apprentissage des opérateurs pendant le flux de travail en leur fournissant des instructions holographiques au bon moment et au bon endroit.
Hologrammes World Locking Exemple World Locked Physics Unity C# Explorez quelques expériences physiques virtuelles mettant à profit le système de coordonnées verrouillé sur le monde de World Locking Tools.
Exemple Space Pin Unity C# Examinez de plus près le fonctionnement interne d’une application réelle qui doit aligner un ou des objets volumineux avec des caractéristiques réelles. L’exemple Space Pin offre une vue simplifiée et plus ciblée de la fonctionnalité Space Pin.
Exemple Ray Pins Unity C# Découvrez comment configurer manuellement des repères spatiaux en positionnant manuellement des objets marqueurs avec des affordances MRTK.
Exemple World Locking Tools avec Azure Spatial Anchors Unity C# Découvrez un système de coordonnées stable qui peut être rendu persistant d’une session à l’autre et partagé entre plusieurs appareils dans votre application. Cela est possible en combinant World Locking Tools pour Unity (WLT) et Azure Spatial Anchors (ASA).

Générer des scénarios OpenXR de base

Si vous débutez dans la création de scénarios de réalité mixte de base, ces exemples vous aideront à bien démarrer.

Les développeurs ciblant Unity 2020 pour créer des applications HoloLens 2 ou de réalité mixte peuvent utiliser le plug-in OpenXR à la place du plug-in Windows XR pour de meilleures compatibilités entre les plateformes. Le plug-in Mixed Reality OpenXR fonctionne également bien avec la dernière version du Mixed Reality Toolkit (2.7.x).

Exemple Article de référence Plateforme Description
Exemples de Mixed Reality OpenXR avec Unity Utilisation du plug-in OpenXR Unity C# Ces exemples de projets montrent comment créer des applications Unity pour des casques de réalité mixte ou HoloLens 2 avec le plug-in Mixed Reality OpenXR.

Les exemples de scénarios suivants sont abordés :
Projet Unity de base OpenXR MRTK Voir le fichier Lisez-moi de l’exemple Unity C# Ce dépôt contient un projet Unity configuré avec les packages Microsoft Mixed Reality Toolkit Foundations et Standard Assets et le package Microsoft OpenXR Plugin.
Utilisation d’Unity 2020.3 et de MRTK 2.7.2 Présentation de MRTK Unity C# MRTK-Unity est un projet piloté par Microsoft qui fournit un ensemble de composants et de fonctionnalités servant à accélérer le développement d’applications de réalité mixte interplateformes dans Unity.
OpenXR Explorer Voir le fichier Lisez-moi de l’exemple C++, Windows, Linux, OpenXR OpenXR Explorer est un outil de débogage pratique pour les développeurs OpenXR. Il permet de basculer facilement entre les runtimes OpenXR, de lister les extensions prises en charge par le runtime et d’inspecter les propriétés et énumérations communes, avec des liens directs vers les sections pertinentes de la spécification OpenXR.
Exemples OpenXR pour les développeurs de réalité mixte Présentation d’OpenXR C++ Ces exemples OpenXR utilisent C++ 17 et Direct3D 11. Le même code source fonctionne aussi bien sur des applications UWP s’exécutant sur HoloLens 2 que sur des applications Win32 s’exécutant sur le bureau Windows avec des casques immersifs Windows Mixed Reality.

Collaboration en réalité mixte

En réalité mixte, les gens se réunissent virtuellement pour partager des expériences et collaborer. Les exemples listés ici présentent quelques-unes des fonctionnalités de collaboration.

Identité de l’utilisateur

Cet exemple configure votre appareil HoloLens 2 en utilisant les informations d’identification Azure Active Directory (AAD), puis configure la connexion avec reconnaissance de l’iris sur l’appareil.

Exemple Article de référence
Connexion AAD sur HoloLens 2 Vue d’ensemble de la plateforme d’identités Microsoft

WebRTC

Le projet MixedReality-WebRTC est une collection de composants dont le but est d’aider les développeurs d’applications de réalité mixte à intégrer des communications P2P en temps réel (audio, vidéo et données) dans leurs applications. Les composants WebRTC sont basés sur le protocole WebRTC pour la communication en temps réel (RTC), ce protocole étant pris en charge par la plupart des navigateurs web modernes.

Exemple Article de référence
Exemples d’applications WebRTC WebRTC

Interaction spatiale - Exemple d’hologramme de base

Cet exemple s’exécute sur Windows Mixed Reality et affiche un cube qui tourne. Vous pouvez interagir avec le cube en le plaçant à un autre endroit, et différentes méthodes d’entrée sont autorisées. Cet exemple fonctionne sur les PC reliés à des casques et sur Microsoft HoloLens.

Exemple Article de référence
Exemples Windows universel - Hologramme de base Voir le fichier Lisez-moi de l’exemple

Compréhension des scènes

La compréhension des scènes fournit aux développeurs de réalité mixte une représentation générale et structurée de l’environnement. La compréhension des scènes est conçue pour le développement d’applications intuitives et prenant en charge l’environnement. Pour cela, elle combine la puissance des runtimes de réalité mixte existants, notamment le mappage spatial (très précis, mais moins structuré), et les nouveaux runtimes pilotés par l’IA.

Exemple Article de référence Plateforme Description
Exemples de compréhension des scènes de réalité mixte (SDK SU) Compréhension des scènes Unity C# et SDK SU Exemple d’application basée sur Unity illustrant la compréhension des scènes sur HoloLens 2.
Exemple de compréhension des scènes (MRTK + SDK SU) Observateur de compréhension des scènes (MRTK) Unity C#, MRTK et SDK SU Exemple avec MRTK et le SDK de compréhension des scènes.

Superpositions de données contextuelles

Les données contextuelles sont les informations de base qui fournissent une meilleure compréhension d’un événement, d’une personne ou d’un élément. Avec la réalité augmentée, ces informations peuvent être affichées et alignées avec précision sur des objets physiques pour fournir des insights, des instructions, des enregistrements de service et d’autres données importantes.

Codes QR

HoloLens 2 peut détecter les codes QR dans l’environnement situé autour du casque, ce qui permet d’établir un système de coordonnées à l’emplacement réel de chaque code.

Exemple Article de référence
Suivi des codes QR dans Unity Codes QR

Exemple de suivi d’un poster

Il est souvent utile de pouvoir aligner un hologramme sur un objet réel, ou plusieurs appareils HoloLens sur un ensemble commun de coordonnées universelles. Ainsi, chaque participant peut voir les mêmes hologrammes au même endroit. Par exemple, dans votre scène Unity, vous pouvez ajouter un « poster » où vous souhaitez ancrer votre scène (peut-être un plateau de jeu), puis ajouter des hologrammes sur ou autour de celui-ci. Vous pouvez ensuite imprimer le poster, le poser sur une table, puis exécuter l’outil d’étalonnage/alignement pour déplacer la version holographique du poster et l’aligner avec la version physique. Tous les hologrammes liés sont déplacés et correctement alignés.

Exemple Article de référence
Exemple d’étalonnage de poster Voir le fichier Lisez-moi de l’exemple

Créer des jumeaux numériques de réalité mixte

Dans cet exemple, vous allez apprendre à créer une application HoloLens 2 de réalité mixte avec Azure Digital Twins et Unity, une plateforme 3D en temps réel.

Exemple Article de référence
Création de jumeaux numériques de réalité mixte avec Azure Digital Twins et Unity Parcours d’apprentissage complet

Captures de l’appareil photo

Les données de capteurs d’environnement non structurées que votre appareil de réalité mixte capture sont converties en puissantes représentations abstraites ou holographiques du monde physique qui nous entoure.

Capture de réalité mixte holographique

MRC (Mixed Reality Capture) capture l’expérience utilisateur à la première personne, en combinant les mondes réel et numérique sous forme de photo ou de vidéo, et partage ce que vous voyez avec d’autres personnes en temps réel.

Exemple Article de référence
Exemples de captures de réalité mixte Capture de réalité mixte

Vue Spectateur

Spectator View affiche les hologrammes à partir d’Unity sur un cadre couleur à partir d’une carte de capture. Cet exemple utilise les données d’étalonnage de l’application d’étalonnage pour afficher les hologrammes à la bonne taille et avec la bonne orientation.

Exemple d’application Article de référence
Configuration mobile de Spectator View Voir l’exemple de configuration

Mode Recherche

Le mode Recherche a été introduit dans HoloLens première génération afin de permettre l’accès aux capteurs clés de l’appareil, en particulier pour les applications de recherche qui ne sont pas destinées au déploiement. Les exemples d’applications ci-dessous sont des exemples d’accès et d’enregistrement des flux du mode Recherche. Ils correspondent également à des exemples d’utilisation des propriétés intrinsèques et extrinsèques.

Exemple d’application Article de référence
HoloLens (première génération) Mode Recherche
HoloLens 2 Mode Recherche

Communication à distance holographique

Holographic Remoting Player est un complément qui se connecte aux applications et aux jeux PC prenant en charge la communication à distance holographique. Holographic Remoting transmet en streaming le contenu holographique d’un PC vers votre Microsoft HoloLens en temps réel, à l’aide d’une connexion Wi-Fi. Il est pris en charge par HoloLens (première génération) et HoloLens 2.

Exemple Article de référence
Exemples de communication à distance holographique Communication à distance holographique