¿Qué es Mixed Reality Toolkit?

Mixed Reality Toolkit


MRTK Unity es un proyecto controlado por Microsoft que proporciona un conjunto de componentes y características para acelerar el desarrollo de aplicaciones de MR multiplataforma en Unity. Estas son algunas de sus funciones:

  • Proporciona el sistema de entrada multiplataforma y los bloques de creación para las interacciones espaciales y la interfaz de usuario.
  • Permite la creación rápida de prototipos gracias a la simulación en el editor, que permite ver los cambios inmediatamente.
  • Funciona como plataforma extensible que permite a los desarrolladores intercambiar los componentes principales.
  • Es compatible con una amplia gama de plataformas:
Plataforma Dispositivos compatibles
OpenXR (Unity 2020.3.8 y versiones posteriores) Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Oculus (Unity 2019.3 o posterior) Oculus Quest
OpenVR Cascos de Windows Mixed Reality
HTC Vive
Oculus Rift
Seguimiento de manos de Ultraleap Leap Motion Controller de Ultraleap
Móvil iOS y Android
Plataforma Dispositivos compatibles
OpenXR (versión preliminar en MRTK 2.6, Unity 2020.3.8 y versiones posteriores) Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Oculus (Unity 2019.3 o posterior) Oculus Quest
OpenVR Cascos de Windows Mixed Reality
HTC Vive
Oculus Rift
Seguimiento de manos de Ultraleap Leap Motion Controller de Ultraleap
Móvil iOS y Android

Nota

Evite Unity 2020.3.21f y 2020.3.22f, que provocan un efecto estroboscópico y parpadeo en HoloLens 2. Para más información, consulte esta página.

Introducción a MRTK

Si no está familiarizado con MRTK ni con el desarrollo de realidad mixta en Unity, se recomienda instalar y explorar la aplicación de ejemplo MRTK Examples Hub en el dispositivo o emulador.

Una vez que haya comprendido lo que la realidad mixta y MRTK tienen para ofrecer, instale las herramientas necesarias y siga nuestra serie de tutoriales de HoloLens 2 para principiantes.

¿Quiere conocer lo que se esconde bajo la superficie?

Documentación

Notas de la versión
Notas de la versión
Información general de MRTK
Información general de MRTK
Referencia de API
Referencia de API

Estado de la compilación

Rama Estado de CI Estado del documento
main Estado de CI Estado del documento

Áreas de características

Bloques de creación de la experiencia de usuario

Botón Botón
Control de botón que admite varios métodos de entrada, incluida la mano articulada de HoloLens 2.

Control de límites Control de límites
Interfaz de usuario estándar para manipular objetos en el espacio 3D.

Manipulador de objetos Manipulador de objetos
Script para manipular objetos con una o dos manos.

Claqueta Claqueta
Plano de estilo 2D que admite el desplazamiento con la entrada de mano articulada.

Teclado del sistema Teclado del sistema
Ejemplo de script de uso del teclado del sistema en Unity.

Interactuable Interactuable
Un script para que los objetos interactúen con los estados visuales y la compatibilidad con temas.

Solucionador Solucionador
Varios comportamientos de posicionamiento de objetos, como etiquetado, bloqueo del cuerpo, tamaño de vista constante y magnetismo de la superficie.

Colección de objetos Colección de objetos
Script para diseñar una matriz de objetos en una forma tridimensional.

Información sobre herramientas Información sobre herramientas
Interfaz de usuario de anotación con un sistema flexible de anclaje/dinamización que se puede usar para etiquetar controladores de movimiento y objetos.

Control deslizante Control deslizante
Interfaz de usuario del control deslizante para ajustar los valores que admiten la interacción directa de seguimiento de manos.

Sombreador MRTK Standard Sombreador MRTK Standard
El sombreador MRTK Standard admite varios elementos de diseño de Fluent con rendimiento.

Menú Mano Menú Mano
Interfaz de usuario bloqueada manualmente para un acceso rápido mediante el solucionador de restricciones de la mano.

Barra de aplicaciones Barra de aplicaciones
Interfaz de usuario para la activación manual del control de límites.

Punteros Punteros
Información sobre los distintos tipos de punteros.

Visualización de la punta del dedo Visualización de la punta del dedo
Prestación visual de la punta del dedo, lo que mejora la confianza para la interacción directa.

Menú Cerca Menú Cerca
Interfaz de usuario de menú flotante para las interacciones cercanas.

Introducción al reconocimiento espacial Vista de reconocimiento espacial
Haga que los objetos holográficos interactúen con los entornos físicos.

Comando de voz Comando de voz
Scripts y ejemplos para integrar la entrada de voz.

Indicador de progreso Indicador de progreso
Indicador visual para comunicar el proceso o la operación de datos.

Cuadro de diálogo Cuadro de diálogo
Interfaz de usuario para solicitar confirmación o reconocimiento del usuario.

Asesor manual Asesor manual
Componente que ayuda a guiar al usuario cuando no se ha enseñado el gesto.

Servicio de la física de la mano Servicio de la física de la mano [experimental]
El servicio de la física de la mano permite eventos e interacciones de colisión de cuerpos rígidos con manos articuladas.

Desplazamiento por la colección Desplazamiento por la colección
Colección de objetos que desplaza objetos 3D de forma nativa.

Dock Dock [experimental]
Dock permite que los objetos entren y salgan de las posiciones predeterminadas.

Seguimiento ocular: selección de destino Seguimiento ocular: selección de destino
Combine la entrada ocular, de voz y de manos para seleccionar los hologramas de forma rápida y sencilla a lo largo de la escena.

Seguimiento ocular: navegación Seguimiento ocular: navegación
Aprenda sobre cómo desplazarse por texto automáticamente o acercar de forma fluida el contenido donde está el foco en función de lo que está examinando.

Seguimiento ocular: mapa térmico Seguimiento ocular: mapa térmico
Ejemplos para registrar, cargar y visualizar lo que los usuarios han estado examinando en la aplicación.

Herramientas

Optimizar ventana Optimizar ventana Ventana de dependencia Ventana de dependencia Ventana de compilación Build Window Grabación de entrada Grabación de entrada
Automatice la configuración de proyectos de Mixed Reality para optimizar el rendimiento. Analice las dependencias entre recursos e identifique los recursos sin usar. Configure y ejecute un proceso de compilación de un extremo a otro para aplicaciones de realidad mixta. Grabe y reproduzca los datos de movimiento y seguimiento de manos en el editor.

Escenas de ejemplo

MRTK proporciona escenas de ejemplo que muestran cómo usar las características de MRTK. Puede encontrar las escenas de ejemplo en la carpeta Assets/MRTK/Examples/Demos. Lea la página Escenas de ejemplo para obtener información sobre cómo adquirir y ejecutar escenas de ejemplo. La escena de ejemplos de interacción manual es un excelente lugar para empezar a experimentar con los bloques de creación de MRTK para las interacciones y la interfaz de usuario.

Escenas de ejemplo 2

MRTK Examples Hub

Con MRTK Examples Hub, puede probar varias escenas de ejemplo en MRTK sin crear ni implementar cada escena. Puede descargar paquetes de aplicaciones pregenerados para HoloLens (x86), HoloLens 2 (ARM) y cascos envolventes de Windows Mixed Reality (x64); para ello, seleccione el paquete "Ejemplos de Mixed Reality Toolkit" en MR Feature Tool. Asegúrese de usar el Portal de dispositivos Windows para instalar aplicaciones en HoloLens (1.ª generación). En HoloLens 2, puede descargar e instalar MRTK Examples Hub a través de Microsoft Store.

Consulte la página Léame de Examples Hub para obtener información sobre cómo crear un centro de varias escenas con el sistema de escenas y el servicio de transición de escenas de MRTK.

Centro de escenas de ejemplo

Aplicaciones de ejemplo hechas con MRTK

Tabla periódica de los elementos Explorador de la galaxia Aplicación de ejemplo Surfaces
Periodic Table of the Elements es una aplicación de ejemplo de código abierto que muestra cómo usar el sistema de entrada de MRTK y los bloques de creación para crear una experiencia de aplicación para HoloLens y cascos envolventes. Lea la historia de la migración: Incorporación de la aplicación Periodic Table of the Elements a HoloLens 2 con MRTK v2. Galaxy Explorer es una aplicación de ejemplo de código abierto que se desarrolló originalmente en marzo de 2016 como parte de la campaña "Share Your Idea" de HoloLens. Galaxy Explorer se ha actualizado con las nuevas características de HoloLens 2, mediante MRTK v2. Lea la historia: La creación de Galaxy Explorer para HoloLens 2. Surfaces es una aplicación de ejemplo de código abierto para HoloLens 2, que explora cómo podemos crear una sensación táctil con entrada visual, de audio y seguimiento de manos totalmente articuladas. Consulte Aprendizajes de la aplicación Surfaces de la sesión Microsoft MR Dev Days para obtener información sobre el diseño y la historia de desarrollo.

Vídeos de sesión de Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutorial sobre cómo crear una sencilla aplicación de MRTK de principio a fin. Obtenga información sobre los conceptos de interacción y las funcionalidades multiplataforma de MRTK. Profundice en los bloques de creación de la experiencia de usuario de MRTK que le ayudarán a crear fantásticas experiencias de realidad mixta. Introducción a las herramientas de rendimiento, tanto de MRTK como externas, e información general sobre el sombreador estándar de MRTK.

Consulte Mixed Reality Dev Days para explorar más vídeos de sesiones.

Interacción con la comunidad

El proyecto ha adoptado el Código de conducta de código abierto de Microsoft. Para obtener más información, vea las Preguntas más frecuentes sobre el código de conducta, o póngase en contacto con opencode@microsoft.com si tiene preguntas o comentarios.

Recursos útiles en el Centro de desarrollo de realidad mixta

Descubrir Descubrir Diseñar Diseñar Desarrollar Desarrollar Distribuir Distribuir
Aprende a crear experiencias de realidad mixta para HoloLens y cascos envolventes (VR). Obtenga guías de diseño. Cree interfaces de usuario. Aprenda sobre interacciones y entradas. Obtenga guías de desarrollo. Aprenda sobre la tecnología. Aprenda sobre la ciencia. Haga que la aplicación esté disponible para otros usuarios y considere la posibilidad de crear un iniciador 3D.

Recursos útiles en Azure

Spatial Anchors
Spatial Anchors
Servicios de Voz Speech Services Servicios de visión Servicios de visión
Spatial Anchors es un servicio multiplataforma que le permite crear experiencias de realidad mixta mediante objetos que conservan su ubicación en los dispositivos y a lo largo del tiempo. Conozca e integre en su aplicación las funcionalidades de voz con tecnología de Azure como, por ejemplo, conversión de voz a texto, reconocimiento del hablante o traducción de voz. Identifique y analice el contenido de sus imágenes o vídeos mediante servicios de visión como Computer Vision, detección de caras, reconocimiento de emociones o indexador de vídeo.

Cómo contribuir

Obtenga información sobre cómo contribuir a MRTK en Colaboración.

Ayuda

Si surgen problemas debido a MRTK o tiene dudas sobre cómo hacer algo, hay algunos recursos que pueden resultar útiles: