Aplicaciones y ejemplos de características de realidad mixta

Imagen de un usuario con HoloLens manipulando un holograma con movimiento de mano

Cada recorrido de desarrollo comienza con un vistazo a lo que otros desarrolladores han compilado correctamente. En el caso de la realidad mixta, no es diferente. Actualmente, todos nuestros tutoriales y aplicaciones de ejemplo se basan en Unity o Unreal. A medida que desarrollamos contenido para otros motores y plataformas, los encontrará en el encabezado correspondiente de la tabla de contenido.

Casos prácticos de aplicaciones de ejemplo

Nuestros equipos crearon las aplicaciones de ejemplo de código abierto para ayudarle a entender el desarrollo de la realidad mixta de primera mano. Hemos proporcionado los proyectos y el código fuente completo como referencia de aprendizaje.

Aplicaciones de ejemplo de código abierto de HoloLens 2

Estas aplicaciones de ejemplo se hacen con Mixed Reality Toolkit para Unity.

Aplicaciones de ejemplo de código abierto de HoloLens (primera generación)

Ejemplos de características

Para cada uno de los escenarios de desarrollador que se indican a continuación, hay ejemplos de características que corresponden a implementaciones específicas que se tratan en nuestra documentación y abarcan una variedad de plataformas de desarrollo y dispositivos de hardware.

Escenario Ejemplo de característica Motor Descripción
Creación de escenarios básicos de realidad mixta con Unity Ejemplos de OpenXR con Unity C# para Unity Empiece a trabajar con herramientas de desarrollo multiplataforma con el complemento OpenXR y Unity 2020.LTS más recientes.
Estrategias de anclaje Anclaje local Puede conservar y compartir los anclajes espaciales en sesiones de aplicación y en todos los dispositivos. Consulte el artículo Anclajes espaciales.
Ejemplos de Azure Spatial Anchors Cree aplicaciones de realidad mixta con reconocimiento espacial con las funcionalidades básicas de Azure Spatial Anchors.
Códigos QR C# para Unity Detecte códigos QR en el entorno.
Colaboración en realidad mixta Identidad del usuario C# para Unity Configure el dispositivo HoloLens 2 con credenciales de Azure Active Directory (AAD).
Ejemplo de WebRTC C# para Unity Integre la comunicación punto a punto en tiempo real de datos, vídeo y audio en una aplicación de realidad mixta.
Ejemplos de Azure Spatial Anchors Cree aplicaciones de realidad mixta con reconocimiento espacial con las funcionalidades básicas de Azure Spatial Anchors.
Interacción espacial Ejemplo de holograma básico Windows 10 C++ Represente un cubo giratorio en Windows Mixed Reality.
Reconocimiento de escenas y objetos Ejemplos de reconocimiento de escenas C# para Unity Ayuda a diseñar aplicaciones de realidad mixta con reconocimiento del entorno.
Ejemplos de Azure Object Anchors C# para Unity Detecte un objeto en el mundo físico mediante un modelo 3D y calcule su posición 6DoF (seis grados de libertad) con Azure Object Anchors.
Superposiciones de datos contextuales Códigos QR C# para Unity Detecte códigos QR en el entorno.
Ejemplo de seguimiento de pósteres C# para Unity Alinee un holograma con un objeto del mundo real.
Compile gemelos digitales de realidad mixta C# para Unity Obtenga información sobre cómo crear una aplicación de realidad mixta mediante Azure Digital Twins y Unity, una plataforma 3D en tiempo real.
Captura de datos de cámara Ejemplo de captura de realidad mixta Windows 10 C++ Capture la experiencia en primera persona de combinar el mundo real y el digital en una foto o vídeo.
Ejemplo de vista de espectador C# para Unity Capture y represente hologramas con el tamaño y la orientación correctos.
Ejemplos del modo de investigación Windows 10 C++ Acceso a sensores clave en un dispositivo HoloLens para aplicaciones de investigación.
Control remoto de holografías Reproductor de control remoto de holografías Windows 10 C++ Transmita contenido holográfico desde un equipo a Microsoft HoloLens en tiempo real mediante una conexión Wi-Fi.
Ejemplos de Azure Remote Rendering C# para Unity Pruebe el servicio Azure Remote Rendering con los recursos para los datos de ejemplo que se incluyen aquí.
Administración de tareas y orientación Dynamics 365 Remote Assist Colabore de un modo más eficaz trabajando juntos desde diferentes ubicaciones con Dynamics 365 Remote Assist en dispositivos HoloLens, HoloLens 2, Android o iOS.
Dynamics 365 Guides Ayude a los operadores a aprender a lo largo del flujo de trabajo mediante instrucciones holográficas donde y cuando sean necesarias.
Hologramas de bloqueo del mundo Ejemplo físico de bloqueo del mundo C# para Unity Explore algunas experiencias físicas y virtuales que habilita el sistema de coordenadas de las herramientas de bloqueo del mundo.
Ejemplo de marca de espacio C# para Unity Examine de cerca el funcionamiento interno de una aplicación del mundo real que necesita alinear un objeto u objetos de gran tamaño con características del mundo real. El ejemplo de marca de espacio ofrece una vista simplificada y más centrada de la característica de marca de espacio.
Ejemplo de marcas de rayos C# para Unity Muestra cómo configurar marcas de espacio mediante la manipulación manual de objetos de marcador en la posición correspondiente con las prestaciones de MRTK.
Ejemplo de herramientas de bloqueo del mundo con Azure Spatial Anchors C# para Unity Proporcione un sistema de coordenadas estable que se pueda conservar entre sesiones y compartir entre dispositivos en la aplicación. Esto es posible al combinar las herramientas de bloqueo del mundo (WLT) para Unity con Azure Spatial Anchors (ASA).

Creación de escenarios básicos de OpenXR

Si está empezando a crear escenarios básicos de realidad mixta, estos ejemplos le ayudarán a empezar a trabajar.

Para los desarrolladores que usan Unity 2020 para compilar aplicaciones para HoloLens 2 o realidad mixta, se puede usar el complemento de OpenXR en lugar del complemento de Windows XR para mejorar la compatibilidad multiplataforma. El complemento OpenXR de realidad mixta también funciona bien con la versión más reciente de Mixed Reality Toolkit (2.7.x).

Muestra Artículo de referencia Plataforma Descripción
Mixed Reality OpenXR con ejemplos de Unity Uso del complemento OpenXR C# para Unity Estos proyectos de ejemplo muestran cómo compilar aplicaciones de Unity para HoloLens 2 o cascos de realidad mixta con el complemento OpenXR de realidad mixta.

Se cubren los siguientes escenarios de ejemplo:
Proyecto OpenXR MRTK Base de Unity Consulte el archivo Léame de ejemplo C# para Unity Este repositorio contiene un proyecto de Unity configurado con paquetes de recursos estándar y Microsoft Mixed Reality Toolkit Foundations, así como el paquete del complemento OpenXR de Microsoft.
Uso de Unity 2020.3 y MRTK 2.7.2 ¿Qué es MRTK? C# para Unity MRTK-Unity es un proyecto controlado por Microsoft que proporciona un conjunto de componentes y características que se usan para acelerar el desarrollo de aplicaciones de MR multiplataforma en Unity.
Explorador de OpenXR Consulte el archivo Léame de ejemplo. C++, Windows, Linux, OpenXR El explorador de OpenXR es una herramienta de depuración útil para desarrolladores de OpenXR. Permite cambiar fácilmente entre los entornos en tiempo de ejecución de OpenXR, muestra listas de las extensiones admitidas del entorno en tiempo de ejecución y permite la inspección de propiedades y enumeraciones comunes, con vínculos directos a partes relevantes de la especificación OpenXR.
Ejemplos de OpenXR para desarrolladores de realidad mixta ¿Qué es OpenXR? C++ Estos ejemplos de OpenXR usan C++17 y Direct3D 11. El mismo código fuente funciona en aplicaciones para UWP que se ejecutan en HoloLens 2 y aplicaciones de Win32 que se ejecutan en escritorios de Windows con cascos envolventes de Windows Mixed Reality.

Colaboración en realidad mixta

En la realidad mixta, las personas se reúnen virtualmente para compartir experiencias y colaborar. Los ejemplos que se enumeran aquí muestran algunas características que hacen posible esta colaboración.

Identidad del usuario

En este ejemplo se configura el dispositivo HoloLens 2 con las credenciales de Azure Active Directory (AAD) y, a continuación, se configura el dispositivo para que use el inicio de sesión mediante iris.

Muestra Artículo de referencia
Inicio de sesión de AAD en HoloLens 2 Información general sobre la Plataforma de identidad de Microsoft

WebRTC

El proyecto MixedReality-WebRTC es una colección de componentes que ayudan a los desarrolladores de aplicaciones de realidad mixta a integrar la comunicación punto a punto en tiempo real de datos, vídeo y audio en sus aplicaciones. Los componentes de WebRTC se basan en el protocolo de WebRTC para la comunicación en tiempo real, que se admite en la mayoría de exploradores web modernos.

Muestra Artículo de referencia
Aplicaciones de ejemplo de Unreal WebRTC

Interacción espacial: ejemplo de holograma básico

Este ejemplo se ejecuta en Windows Mixed Reality y representa un cubo giratorio. Coloque el cubo en otra posición para interactuar con él. Se admiten varios métodos de entrada. Este ejemplo funciona en equipos con cascos conectados y también en Microsoft HoloLens.

Muestra Artículo de referencia
Ejemplos universales de Windows: holograma básico Consulte el archivo Léame de ejemplo

Descripción de escenas

El reconocimiento de la escena proporciona a los desarrolladores de realidad mixta una representación del entorno estructurada y de alto nivel. El reconocimiento de la escena está diseñada para desarrollar aplicaciones intuitivas y con reconocimiento del entorno, ya que combina las opciones que ofrecen los entornos en tiempo de ejecución de realidad mixta existentes. Estos entornos en tiempo de ejecución son la asignación espacial más precisa, pero menos estructurada, y los nuevos entornos en tiempo de ejecución basados en IA.

Muestra Artículo de referencia Plataforma Descripción
Ejemplos de reconocimiento de escenas de realidad mixta (SDK de SU) Descripción de escenas C# para Unity y SDK de SU Aplicación de ejemplo basada en Unity que muestra el reconocimiento de escenas en HoloLens 2.
Ejemplo de reconocimiento de escenas (MRTK + SDK de SU) Observador del reconocimiento de escenas (MRTK) C# para Unity, MRTK y SDK de SU Ejemplo de MRTL y el SDK de reconocimiento de escenas.

Superposiciones de datos contextuales

Los datos contextuales son la información subyacente que facilita una mayor comprensión de un evento, persona o elemento. Con la realidad aumentada (AR), esta información se puede mostrar y alinear con precisión con objetos físicos para proporcionar conclusiones, instrucciones, registros de servicio y otros datos importantes.

Códigos QR

HoloLens 2 puede detectar códigos QR en el entorno alrededor del caso, estableciendo un sistema de coordenadas en la ubicación real de cada código.

Muestra Artículo de referencia
Seguimiento de códigos QR en Unity Códigos QR

Ejemplo de seguimiento de pósteres

A menudo resulta útil poder alinear un holograma con un objeto del mundo real o alinear varios dispositivos HoloLens con un conjunto común de coordenadas del mundo para que todos los usuarios puedan ver los mismos hologramas en la misma ubicación. Por ejemplo, en la escena de Unity, puede agregar un "póster" donde quiera anclar la escena (quizás un tablero de juego) y, a continuación, agregar hologramas sobre este o a su alrededor. A continuación, puede imprimir el póster, ponerlo en una mesa y ejecutar la herramienta de calibración/alineación, que moverá la versión holográfica del póster para que se alinee con su correspondiente versión física. Esto mueve todos los hologramas vinculados a la alineación correcta.

Muestra Artículo de referencia
Ejemplo de calibración del póster Consulte el archivo Léame de ejemplo.

Compile gemelos digitales de realidad mixta

En este ejemplo, aprenderá a crear una aplicación de realidad mixta para HoloLens 2 mediante Azure Digital Twins y Unity, una plataforma 3D en tiempo real.

Muestra Artículo de referencia
Creación de gemelos digitales de realidad mixta con Azure Digital Twins y Unity Ruta de aprendizaje completa

Capturas de cámara

Los datos de sensores de entorno no estructurados que el dispositivo de realidad mixta captura se convierten en eficaces representaciones abstractas u holográficas del mundo físico que nos rodea.

Captura holográfica de realidad mixta

La captura de realidad mixta (MRC) captura la experiencia en primera persona de combinar el mundo real y el digital en una foto o un vídeo y permite compartir lo que ve con otros usuarios en tiempo real.

Muestra Artículo de referencia
Ejemplos de Captura de realidad mixta Captura de realidad mixta

Vista del espectador

La vista de espectador representa hologramas de Unity sobre un marco de color de una tarjeta de captura. En este ejemplo se usan los datos de calibración de la aplicación de calibración para representar los hologramas con el tamaño y la orientación correctos.

Aplicación de ejemplo Artículo de referencia
Configuración móvil de vista del espectador Consulte la configuración de ejemplo.

Modo de investigación

El modo de investigación se presentó en la primera generación de HoloLens para dar acceso a los sensores de claves en el dispositivo, especialmente para las aplicaciones de investigación que no están pensadas para la implementación. Las aplicaciones de ejemplo siguientes son ejemplos de acceso y grabación de secuencias de modo de investigación y el uso de los atributos intrinsic y extrinsic.

Aplicación de ejemplo Artículo de referencia
HoloLens (primera generación) Modo de investigación
HoloLens 2 Modo de investigación

Control remoto de holografías

Holographic Remoting Player es una aplicación complementaria que se conecta a aplicaciones y juegos de PC que admiten el control remoto de holografías. El control remoto de holografías transmite contenido holográfico desde un equipo a su Microsoft HoloLens en tiempo real mediante una conexión Wi-Fi y es compatible con HoloLens (primera generación) y HoloLens 2.

Muestra Artículo de referencia
Ejemplos de control remoto de holografías Control remoto de holografías