Présentation du Mixed Reality Toolkit

Mixed Reality Toolkit


MRTK-Unity est un projet Microsoft qui fournit un ensemble de composants et de fonctionnalités servant à accélérer le développement d’applications de réalité mixte interplateformes dans Unity. Voici quelques-unes de ses fonctions :

  • Fournit le système d’entrée multiplateforme et les composants pour les interactions spatiales et l’interface utilisateur.
  • Active le prototypage rapide via la simulation dans l’éditeur qui vous permet de voir immédiatement les modifications.
  • Fonctionne comme un framework extensible qui fournit aux développeurs la possibilité de permuter les composants de base.
  • Prend en charge un large choix de plateformes :
Plateforme Appareils pris en charge
OpenXR (Unity 2020.3.8+) Microsoft HoloLens 2
Casques Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Casques Windows Mixed Reality
Oculus (Unity 2019.3 ou ultérieur) Oculus Quest
OpenVR Casques Windows Mixed Reality
HTC Vive
Oculus Rift
Suivi de la main Ultraleap Ultraleap Leap Motion Controller
Mobile iOS et Android
Plateforme Appareils pris en charge
OpenXR (préversion dans MRTK 2.6, Unity 2020.3.8+) Microsoft HoloLens 2
Casques Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Casques Windows Mixed Reality
Oculus (Unity 2019.3 ou ultérieur) Oculus Quest
OpenVR Casques Windows Mixed Reality
HTC Vive
Oculus Rift
Suivi de la main Ultraleap Ultraleap Leap Motion Controller
Mobile iOS et Android

Notes

Nous avons introduit la préversion publique de MRTK3, le chapitre suivant de MRTK. Pour plus d’informations, consultez la documentation MRTK3.

Bien démarrer avec MRTK

Si vous débutez avec le développement MRTK ou Mixed Reality dans Unity, nous vous recommandons d’installer et d’explorer l’exemple d’application MRTK Examples Hub sur votre appareil ou émulateur.

Une fois que vous avez pris en main Mixed Reality et MRTK, installez les outils nécessaires et suivez notre série de tutoriels HoloLens 2 niveau débutant.

Vous voulez voir ce qui se passe en coulisses ?

Documentation

Release notes
Notes de publication
MRTK Overview
Présentation de MRTK
API Reference
Référence sur l’API

État de la build

Branche État CI État de la documentation
main CI Status Docs Status

Zones de fonctionnalité

Composants de l’interface utilisateur

ButtonBouton
Contrôle bouton qui prend en charge différentes méthodes d’entrée, y compris la main articulée d’HoloLens 2

Bounds ControlContrôle des limites
Interface utilisateur standard pour manipuler des objets dans l’espace 3D

Object ManipulatorManipulateur d’objets
Script pour manipuler des objets avec une ou deux mains

SlateArdoise
Plan de style 2D qui prend en charge le défilement avec des entrées par la main articulée

System KeyboardClavier système
Exemple de script d’utilisation du clavier système dans Unity

InteractableInteraction
Script pour rendre les objets interactifs avec les états visuels et la prise en charge des thèmes

SolverSolveur
Différents comportements de positionnement des objets, comme les menus qui restent à proximité (tag-along), le rattachement au corps (body-lock), la taille de vue constante et l’aimantation de surface

Object CollectionCollection d’objets
Script pour disposer un tableau d’objets dans une forme en trois dimensions

TooltipInfo-bulle
Interface utilisateur Annotation avec un système d’ancrage/de pivot flexible, qui peut être utilisé pour étiqueter les contrôleurs de mouvement et les objets

SliderCurseur
Interface utilisateur Curseur pour ajuster des valeurs prenant en charge l’interaction de suivi de la main direct

MRTK Standard ShaderNuanceur standard du MRTK
Le nuanceur standard du MRTK prend en charge différents éléments Fluent Design performants

Hand MenuMenu Main
Interface utilisateur rattachée à la main pour un accès rapide, à l’aide du solveur de contraintes de la main

App BarBarre d’application
Interface utilisateur pour l’activation manuelle du contrôle des limites

PointersPointeurs
Découvrez les différents types de pointeurs

Fingertip VisualizationVisualisation du bout des doigts
Affordance visuelle du bout des doigts, qui améliore la confiance dans l’interaction directe

Near MenuMenu proche
Interface utilisateur du menu flottant pour les interactions proches

Spatial Awareness Getting startedVue de la reconnaissance spatiale
Faire interagir vos objets holographiques avec les environnements physiques

Voice CommandCommande vocale
Scripts et exemples pour intégrer des entrées vocales

Progress IndicatorIndicateur de progression
Indicateur visuel qui renseigne sur un processus ou une opération de données

DialogDialogue
Interface utilisateur pour demander à l’utilisateur une confirmation ou son accord

Hand CoachCoach main
Composant qui guide l’utilisateur quand le mouvement n’a pas été appris

Hand Physics ServiceService de la physique des mains [Expérimental]
Le service de la physique des mains rend possible les événements et interactions de collision de corps rigides avec les mains articulées

Scrolling CollectionDéfilement de la collection
Collection d’objets qui défile en mode natif pour exposer les objets 3D

DockAncrage [Expérimental]
L’ancrage permet de placer des objets dans ou en dehors de positions prédéterminées

Eye Tracking: Target SelectionSuivi oculaire : Sélection de la cible
Combinez les entrées oculaires, vocales et manuelles pour sélectionner rapidement et facilement des hologrammes sur votre scène

Eye Tracking: NavigationSuivi oculaire : Navigation
Apprenez à faire défiler le texte automatiquement ou à faire facilement un zoom sur le contenu ciblé en fonction de ce que vous regardez

Eye Tracking: Heat MapSuivi oculaire : Carte thermique
Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application

Outils

Optimize WindowFenêtre d’optimisation Dependency WindowFenêtre de dépendance Build WindowFenêtre de génération Input recordingEnregistrement des entrées
Automatiser la configuration des projets de réalité mixte pour les optimisations de performances Analyser les dépendances entre les ressources et identifier les ressources inutilisées Configurer et exécuter un processus de build de bout en bout pour les applications de réalité mixte Enregistrer et lire les données de suivi de la main et des mouvements de tête dans l’éditeur

Exemples de scènes

MRTK fournit des exemples de scène qui montrent comment utiliser les fonctionnalités de MRTK. Vous trouverez les exemples de scènes sous le dossier Assets/MRTK/Examples/Demos. Lisez la page d’exemples de scène pour savoir comment acquérir et exécuter des exemples de scène. Les exemples de scène d’interaction manuelle sont un excellent point de départ pour commencer à utiliser les composants de MRTK pour les interactions et l’interface utilisateur.

Example Scene 2

Hub d’exemples MRTK

Avec le hub d’exemples MRTK, vous pouvez essayer divers exemples de scène dans MRTK sans générer et déployer chaque scène. Vous pouvez télécharger des packages d’applications prédéfinis pour HoloLens (x86), HoloLens 2 (ARM) et les casques immersifs Windows Mixed Reality (x64) en sélectionnant le package « Exemples du Mixed Reality Toolkit » dans Mixed Reality Feature Tool. Veillez à utiliser le portail d’appareil Windows pour installer des applications sur HoloLens (1ère génération). Sur HoloLens 2, vous pouvez télécharger et installer le Hub d’exemples MRTK à partir de l’application Microsoft Store.

Consultez la page README du hub d’exemples pour en savoir plus sur la création d’un hub multiscène avec le système de scène et le service de transition de scène de MRTK.

Example Scene Hub

Exemples d’applications créées avec MRTK

Periodic Table of the Elements Galaxy Explorer Surfaces sample app
Tableau périodique des éléments est un exemple d’application open source qui montre comment utiliser le système d’entrée et les composants du MRTK afin de créer une expérience d’application pour les casques immersifs et HoloLens. Lisez le récit sur le portage qui raconte comment importer l’application Tableau périodique des éléments vers HoloLens 2 avec MRTK v2 Galaxy Explorer est un exemple d’application open source qui a été initialement développé en mars 2016 dans le cadre de la campagne HoloLens « Partagez vos idées ». L’application Galaxy Explorer a été mise à jour avec de nouvelles fonctionnalités pour HoloLens 2, avec MRTK v2. Lisez le récit sur la conception de Galaxy Explorer pour HoloLens 2 Surfaces est un exemple d’application open source pour HoloLens 2, qui explore la manière dont nous pouvons créer une sensation tactile en utilisant le suivi oculaire, audio et avec la main entièrement articulée. Regardez la session Microsoft MR Dev Days Enseignements tirés de l’application Surfaces pour lire le récit détaillé de la conception et du développement.

Vidéos de la session Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutoriel sur la création d’une application MRTK simple, du début à la fin. Découvrez les concepts de l’interaction et les fonctionnalités multiplateformes de MRTK. Présentation approfondie des composants UX de MRTK qui vous aident à créer de belles expériences de réalité mixte. Présentation des outils de performances, intégrés à MRTK ou externes, et vue d’ensemble du nuanceur standard de MRTK.

Consultez Mixed Reality Dev Days pour explorer d’autres vidéos de session.

Impliquez-vous dans la communauté

Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d’informations, consultez les Questions fréquentes sur le code de conduite ou envoyez vos questions ou vos commentaires à opencode@microsoft.com.

Ressources utiles dans le Centre de développement Réalité mixte

DiscoverDécouvrir DesignConcevoir DevelopDévelopper Distribute)Distribuer
Découvrez comment créer des expériences de réalité mixte pour HoloLens et les casques immersifs (VR). Procurez-vous les guides de conception. Créez une interface utilisateur. Découvrez les interactions et les entrées. Procurez-vous les guides de développement. Découvrez la technologie. Comprenez la science. Préparez votre application pour les utilisateurs et créez un lanceur 3D.

Ressources utiles sur Azure

Spatial Anchors
Spatial Anchors
Speech ServicesServices Speech Vision ServicesServices Vision
Spatial Anchors est un service multiplateforme qui vous permet de créer des expériences de réalité mixte à l’aide d’objets qui restent au même endroit sur tous les appareils. Découvrez les fonctionnalités vocales Azure, telles que la reconnaissance vocale, la reconnaissance de l’orateur ou la traduction vocale, que vous pouvez intégrer à votre application. Identifiez et analysez le contenu de vos images et de vos vidéos à l’aide des services de vision, tels que la vision par ordinateur, la détection des visages, la reconnaissance des émotions ou l’indexeur de vidéos.

Marche à suivre pour contribuer

Découvrez comment vous pouvez contribuer à MRTK sur Contribution.

Obtenir de l’aide

Si vous rencontrez des problèmes dus à l’utilisation de MRTK ou si vous avez des questions sur la façon d’effectuer une opération, vous pouvez vous aider des différentes ressources disponibles :