O que é o Mixed Reality Toolkit 2?

O MRTK-Unity é um projeto da Microsoft que proporciona um conjunto de componentes e funcionalidades, utilizados para acelerar o desenvolvimento de aplicações MR entre várias plataformas no Unity. Veja a seguir algumas das suas funções:

• Fornece o sistema de entrada multiplataforma e blocos de construção para interações espaciais e interface do usuário.
• Permite a prototipagem rápida através de simulação no editor que lhe permite ver as alterações imediatamente.
• Opera como uma estrutura extensível que fornece aos desenvolvedores a capacidade de trocar componentes principais.
• Suporta uma vasta gama de dispositivos:

XR SDK Plugin (Unity XR Plugin Management Plugin Providers)	Dispositivos suportados
Unity OpenXR Plugin (Unity 2020 ou 2021 LTS) (Mixed Reality OpenXR Plugin necessário para certos recursos em determinados dispositivos)	Microsoft HoloLens 2 Auriculares Windows Mixed Reality Meta Missão Dispositivo em execução no SteamVR via OpenXR
Plug-in do Windows XR	Microsoft HoloLens Microsoft HoloLens 2 Headset da Windows Mixed Reality
Plugin Oculus XR (Unity 2019 ou LTS mais recente)	Meta Quest (via pacote de integração Oculus)
ARCore XR Plug-in	Android (via AR Foundation)
ARKit XR Plug-in	iOS (via AR Foundation)

Dispositivos adicionais suportados:

• Controlador Ultraleap Leap Motion para rastreamento de mãos

Nota

Apresentamos a prévia pública do MRTK3, o próximo capítulo do MRTK. Para obter mais informações, consulte a documentação do MRTK3.

Introdução ao MRTK

Se você é novo no desenvolvimento de MRTK ou Realidade Mista no Unity, recomendamos instalar e explorar o aplicativo de exemplo MRTK Examples Hub em seu dispositivo ou emulador.

Baixe o aplicativo MRTK Examples Hub

Depois de pegar o jeito do que a Realidade Mista e o MRTK têm a oferecer, instale as ferramentas necessárias e siga nossa série de tutoriais HoloLens 2 de nível iniciante.

Instale as ferramentas

HoloLens 2 Série de Tutoriais

Quer ver o que se passa debaixo do capô?

Explore o MRTK no GitHub

Documentação

Notas de Versão	Visão geral do MRTK	Referência da API

Status da compilação

Filial	Estado do IC	Estado do Documento
main

Áreas de destaque

Sistema de entrada

Rastreamento de mãos
(HoloLens 2)

Rastreamento ocular
(HoloLens 2)

Perfis

Rastreamento de mãos
(Ultraleap)

Controles da interface do usuário

Solvers

Multi-Cena
Gestor

Espacial
Sensibilização

Diagnóstico
Ferramenta

Exemplo de Shader MRTK Standard Shader View

Voz
& Ditado

Limite
Sistema

No Editor
Simulação

Experimentais
Funcionalidades

Blocos de construção de UX

Botão
Um controle de botão que suporta vários métodos de entrada, incluindo a mão articulada do HoloLens 2

Controle de limites
Interface do usuário padrão para manipular objetos no espaço 3D

Manipulador de objetos
Script para manipular objetos com uma ou duas mãos

Ardósia
Plano de estilo 2D que suporta rolagem com entrada de mão articulada

Teclado do sistema
Exemplo de script de uso do teclado do sistema no Unity

Interacionável
Um script para tornar os objetos interacionáveis com estados visuais e suporte a temas

Solucionador
Vários comportamentos de posicionamento de objetos, como tag-along, body-lock, tamanho de visão constante e magnetismo de superfície

Coleção Object
Script para dispor uma matriz de objetos em uma forma tridimensional

Tooltip
Interface do usuário de anotação com um sistema de âncora/pivô flexível, que pode ser usado para rotular controladores de movimento e objetos

Controle deslizante
Interface do usuário do controle deslizante para ajustar os valores que suportam a interação direta de rastreamento manual

Sombreador padrão MRTK
O sombreador Standard do MRTK suporta vários elementos de design Fluent com desempenho

Menu de mãos
Interface do usuário bloqueada manualmente para acesso rápido, usando o Solucionador de Restrições de Mão

Barra de aplicativos
Interface do usuário para ativação manual do Controle de Limites

Ponteiros
Saiba mais sobre vários tipos de ponteiros

Visualização na ponta dos dedos
Acessibilidade visual na ponta do dedo, o que melhora a confiança para a interação direta

Perto do Menu
Interface do usuário de menu flutuante para as interações próximas

Visualização de consciência espacial
Faça com que seus objetos holográficos interajam com os ambientes físicos

Comando de voz
Scripts e exemplos para integrar a entrada de fala

Indicador de progresso
Indicador visual para comunicar o processo ou operação de dados

Caixa de diálogo
Interface do usuário para solicitar a confirmação ou confirmação do usuário

Treinador de Mão
Componente que ajuda a orientar o usuário quando o gesto não foi ensinado

Serviço de Física da Mão [Experimental]
O serviço de física da mão permite eventos de colisão de corpo rígido e interações com mãos articuladas

Coleção Scrolling
Uma coleção de objetos que rola nativamente objetos 3D

Doca [Experimental]
O Dock permite que os objetos sejam movidos para dentro e para fora de posições predeterminadas

Eye Tracking: Seleção de alvos
Combine olhos, voz e entrada de mão para selecionar hologramas de forma rápida e sem esforço em toda a sua cena

Eye Tracking: Navegação
Saiba como rolar texto automaticamente ou ampliar fluentemente o conteúdo focado com base no que você está vendo

Eye Tracking: Mapa de calor
Exemplos para registrar, carregar e visualizar o que os usuários têm visto em seu aplicativo

Ferramentas

Janela Otimizar	Janela de dependência	Janela de construção	Gravação de entrada
Automatize a configuração de projetos de Realidade Mista para otimizações de desempenho	Analise dependências entre ativos e identifique ativos não utilizados	Configurar e executar um processo de compilação de ponta a ponta para aplicativos de realidade mista	Gravar e reproduzir o movimento da cabeça e dados de rastreamento de mãos no editor

Exemplos de cenas

O MRTK fornece exemplos de cenas que demonstram como usar os recursos do MRTK. Você pode encontrar as cenas de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de interação manual é um ótimo lugar para começar a experimentar os blocos de construção do MRTK para interações e interface do usuário.

Hub de exemplos MRTK

Com o MRTK Examples Hub, você pode tentar várias cenas de exemplo no MRTK sem criar e implantar cada cena. Você pode baixar pacotes de aplicativos pré-criados para HoloLens(x86), HoloLens 2(ARM) e fones de ouvido imersivos Windows Mixed Reality(x64) selecionando o pacote "Exemplos do Kit de Ferramentas de Realidade Mista" na MR Feature Tool. Certifique-se de usar o Windows Device Portal para instalar aplicativos no HoloLens (1ª geração). No HoloLens 2, você pode baixar e instalar o MRTK Examples Hub por meio do aplicativo da Microsoft Store.

Consulte a página Leiame do Hub de Exemplos para saber mais sobre os detalhes sobre a criação de um hub de várias cenas com o sistema de cena e o serviço de transição de cena do MRTK.

Exemplos de aplicativos feitos com MRTK

A Tabela Periódica dos Elementos é um aplicativo de exemplo de código aberto que demonstra como usar o sistema de entrada e os blocos de construção do MRTK para criar uma experiência de aplicativo para HoloLens e fones de ouvido imersivos. Leia a história de portabilidade: Trazendo a Tabela Periódica do aplicativo Elements para o HoloLens 2 com MRTK v2	Galaxy Explorer é um aplicativo de exemplo de código aberto que foi originalmente desenvolvido em março de 2016 como parte da campanha HoloLens 'Share Your Idea'. Galaxy Explorer foi atualizado com novos recursos para HoloLens 2, usando MRTK v2. Leia a história: A criação do Galaxy Explorer para HoloLens 2	O Surfaces é um aplicativo de amostra de código aberto para HoloLens 2 que explora como podemos criar uma sensação tátil com rastreamento de mãos visual, áudio e totalmente articulado. Consulte a sessão Microsoft MR Dev Days Learnings da aplicação Surfaces para obter a história detalhada de design e desenvolvimento.

Vídeos da sessão do Mixed Reality Dev Days 2020

Tutorial sobre como criar um aplicativo MRTK simples do início ao fim. Saiba mais sobre os conceitos de interação e os recursos multiplataforma do MRTK.	Aprofunde-se nos blocos de construção de UX do MRTK que ajudam você a construir belas experiências de realidade mista.	Uma introdução às ferramentas de desempenho, tanto no MRTK quanto no externo, bem como uma visão geral do MRTK Standard Shader.

Veja Mixed Reality Dev Days para explorar mais vídeos de sessão.

Envolva-se com a comunidade

• Junte-se à conversa em torno do MRTK no Slack. Você pode participar da comunidade do Slack através do remetente automático do convite.

• Faça perguntas sobre como usar o MRTK no estouro de pilha usando a tag MRTK .

• Procure problemas conhecidos ou arquive um novo problema se encontrar algo quebrado no código MRTK.

• Para perguntas sobre como contribuir para o MRTK, acesse o canal do kit de ferramentas de realidade mista no slack.

Este projeto adotou o Código de Conduta Open Source da Microsoft. Para mais informações, veja as Perguntas Frequentes do Código de Conduta ou contacte opencode@microsoft.com com quaisquer questões ou comentários adicionais.

Recursos úteis sobre o Centro de Desenvolvimento de Realidade Mista

Detetar	Desenho	Programar	Distribuir
Aprenda a criar experiências de realidade mista para HoloLens e headsets imersivos (VR).	Obtenha guias de design. Crie a interface do usuário. Aprenda interações e entradas.	Obtenha guias de desenvolvimento. Aprenda a tecnologia. Compreender a ciência.	Prepare seu aplicativo para outras pessoas e considere criar um iniciador 3D.

Recursos úteis no Azure

Âncoras espaciais	Serviços de Voz	Serviços de visão
O Spatial Anchors é um serviço multiplataforma que permite criar experiências de Realidade Mista usando objetos que persistem sua localização entre dispositivos ao longo do tempo.	Descubra e integre recursos de fala com tecnologia do Azure, como conversão de fala em texto, reconhecimento de alto-falante ou tradução de fala em seu aplicativo.	Identifique e analise seu conteúdo de imagem ou vídeo usando os Serviços de Visão, como visão computacional, deteção de rosto, reconhecimento de emoções ou indexador de vídeo.

Como contribuir

Saiba como você pode contribuir para o MRTK no Contributing.

Obter ajuda

Se você tiver problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, existem alguns recursos que podem ajudar:

• Para relatórios de bugs, registre um problema no repositório GitHub.
• Em caso de dúvidas, entre em contato pelo StackOverflow ou pelo canal mixed-reality-toolkit no Slack. Você pode participar da comunidade do Slack através do remetente automático do convite.