O que é o Kit de Ferramentas de Realidade Misturada

Kit de ferramentas de realidade misturada


MRTK-Unity é um projeto conduzido pela Microsoft que fornece um conjunto de componentes e recursos usados para acelerar o desenvolvimento de aplicativos MR de plataforma cruzada no Unity. Confira algumas funções dele abaixo:

  • Fornece o sistema de entrada multiplataforma e os blocos de construção para interações espaciais e interface do usuário.
  • Habilita a prototipagem rápida por meio de simulação no editor, que permite ver as alterações imediatamente.
  • Opera como uma estrutura extensível que fornece aos desenvolvedores a capacidade de trocar componentes principais.
  • Dá suporte a diversas plataformas:
Plataforma Dispositivos com suporte
OpenXR (Unity 2020.3.8+) Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Oculus (Unity 2019.3 ou mais recente) Solicitação Oculus
OpenVR Headsets do Windows Mixed Reality
HTC Vive
Oculus Rift
Acompanhamento de mãos Ultraleap Leap Motion Controller da Ultraleap
Dispositivos móveis iOS e Android
Plataforma Dispositivos com suporte
OpenXR (versão prévia no MRTK 2.6, Unity 2020.3.8+) Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Oculus (Unity 2019.3 ou mais recente) Solicitação Oculus
OpenVR Headsets do Windows Mixed Reality
HTC Vive
Oculus Rift
Acompanhamento de mãos Ultraleap Leap Motion Controller da Ultraleap
Dispositivos móveis iOS e Android

Observação

Evite as versões 2020.3.21f e 2020.3.22f do Unity, pois elas causam efeitos de luzes piscantes e estroboscópicas no HoloLens 2. Para mais informações, consulte aqui.

Introdução ao MRTK

Se você for novato no desenvolvimento com MRTK ou Realidade Misturada no Unity, recomendamos que instale e explore o aplicativo de exemplo do Hub de Exemplos do MRTK em seu dispositivo ou emulador.

Assim que você compreender o que a Realidade Misturada e o MRTK têm a oferecer, instale as ferramentas necessárias e siga nossa série de tutoriais de nível de principiante do HoloLens 2.

Quer ver o que está acontecendo nos bastidores?

Documentação

Notas de Versão
Notas sobre a versão
Visão geral do MRTK
Visão geral do MRTK
Referência de API
Referência da API

Status do Build

Branch Status de CI Status dos documentos
main Status de CI Status dos documentos

Áreas de recursos

Blocos de construção de experiência do usuário

Botão Botão
Um controle de botão que dá suporte a vários métodos de entrada, incluindo a mão articulada do HoloLens 2

Controle de limites Controle de limites
Interface do usuário padrão para manipular objetos no espaço 3D

Manipulador de objetos Manipulador de objetos
Script para manipular objetos com uma ou duas mãos

Ardósia Ardósia
Plano de estilo 2D que dá suporte à rolagem com entrada de mão articulada

Teclado do sistema Teclado do sistema
Exemplo de script de uso do teclado do sistema no Unity

Interativo Interativo
Um script para tornar os objetos interativos com os estados visuais e o suporte a temas

Solucionador Solucionador
Vários comportamentos de posicionamento de objeto, como marca, bloqueio de corpo, tamanho de exibição constante e magnetismo de superfície

Coleção de objetos Coleção de objetos
Script para dispor uma matriz de objetos em uma forma tridimensional

Dica de ferramenta Dica de ferramenta
A interface do usuário de anotações com um sistema de âncora/dinâmico flexível, que pode ser usado para rotular controladores de movimento e objetos

Controle deslizante Controle deslizante
Interface do usuário do controle deslizante para ajustar valores que dão suporte à interação direta de acompanhamento da mão

Sombreador padrão do MRTK Sombreador padrão do MRTK
O sombreador padrão do MRTK dá suporte a vários elementos de Fluent Design com desempenho

Menu lateral Menu lateral
Interface do usuário protegida por mão para acesso rápido, usando o solucionador de restrição de mão

Barra de aplicativos Barra de aplicativos
Interface do usuário para ativação manual do controle de limites

Ponteiros Ponteiros
Saiba mais sobre os vários tipos de ponteiros

Visualização da ponta do dedo Visualização da ponta do dedo
A funcionalidade visual na ponta do dedo, que aprimora a confiança da interação direta

Menu próximo Menu próximo
Interface do usuário do menu flutuante para as interações próximas

Introdução à conscientização espacial Exibição da conscientização espacial
Fazer com que seus objetos holográficos interajam com os ambientes físicos

Comando de voz Comando de voz
Scripts e exemplos para integrar a entrada de fala

Indicador de progresso Indicador de progresso
Indicador visual para comunicação do processo de dados ou operação

Caixa de diálogo Caixa de diálogo
Interface de usuário para solicitar confirmação ou reconhecimento do usuário

Orientador de mão Orientador de mão
Componente que ajuda a orientar o usuário quando o gesto não foi ensinado

Serviço de física de mão Serviço de física de mão [Experimental]
O serviço de física de mão permite eventos de colisão de corpo rígido e interações com mãos articuladas

Rolagem da coleção Rolagem da coleção
Uma coleção de objetos que rola nativamente objetos 3D

Doca Doca [Experimental]
A Doca permite que os objetos sejam movidos para dentro e para fora das posições predeterminadas

Acompanhamento ocular: seleção de destino Acompanhamento ocular: seleção de destino
Combine a entrada de olhos, voz e mão para selecionar com rapidez e facilidade os hologramas em sua cena

Acompanhamento ocular: navegação Acompanhamento ocular: navegação
Saiba como rolar automaticamente o texto ou ampliar de maneira fluente o conteúdo focado com base no que você está vendo

Acompanhamento ocular: mapa de calor Acompanhamento ocular: mapa de calor
Exemplos de registro em log, carregamento e visualização do que os usuários estão olhando em seu aplicativo

Ferramentas

Otimizar janela Otimizar janela Janela de dependência Janela de dependência Janela de criação Janela de criação Gravação de entrada Gravação de entrada
Automatizar a configuração de projetos de realidade misturada para otimizações de desempenho Analisar dependências entre ativos e identificar ativos não utilizados Configurar e executar um processo de compilação de ponta a ponta para aplicativos de realidade misturada Movimentação de cabeçotes de gravação e reprodução e dados de acompanhamento da mão no editor

Cenas de exemplo

O MRTK fornece cenas de exemplo que demonstram como usar os recursos do MRTK. Encontre as cenas de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de Interação com a Mão é um ótimo lugar para começar a experimentar com os blocos de construção do MRTK para interações e a interface do usuário.

Cena de exemplo 2

Hub de exemplos do MRTK

Com o Hub de Exemplos do MRTK, você pode experimentar várias cenas de exemplo no MRTK sem compilação e implantar cada cena. Você pode baixar pacotes de aplicativos pré-criados para o HoloLens (x86), o HoloLens 2(ARM) e os headsets imersivos do Windows Mixed Reality (x64) selecionando o pacote "Exemplos do Kit de Ferramentas de Realidade Misturada" na ferramenta de recurso de MR. Use o Portal de Dispositivos do Windows para instalar aplicativos no HoloLens (1ª geração). No HoloLens 2, você pode baixar e instalar o Hub de exemplos do MRTK por meio do aplicativo Microsoft Store.

Confira a página LEIAME do hub de exemplos para saber mais sobre os detalhes de como criar um hub de várias cenas com o sistema de cena do MRTK e o serviço de transição de cena.

Hub de cena de exemplo

Aplicativos de exemplo feitos com o MRTK

Tabela periódica dos elementos Explorador da galáxia Aplicativo de exemplo Surfaces
A tabela periódica dos elementos é um aplicativo de exemplo de software livre que demonstra como usar o sistema de entrada e os blocos de construção do MRTK a fim de criar uma experiência de aplicativo para o HoloLens e os headsets imersivos. Leia a história de portagem: Como trazer o aplicativo Tabela periódica dos elementos para o HoloLens 2 com o MRTK v2 O Galaxy Explorer é um aplicativo de exemplo de software livre originalmente desenvolvido em março de 2016 como parte da campanha 'Compartilhe sua ideia' do HoloLens. O Galaxy Explorer foi atualizado com novos recursos para o HoloLens 2, usando o MRTK v2. Leia a história: A criação do Galaxy Explorer para o HoloLens 2 O Surfaces é um aplicativo de exemplo de software livre para o HoloLens 2, que explora como podemos criar uma sensação tátil com visual, áudio e acompanhamento da mão totalmente articulado. Confira a sessão do Microsoft MR Dev Days Aprendizados com o aplicativo Surfaces para ver o design detalhado e a história de desenvolvimento.

Vídeos de sessão do evento Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutorial sobre como criar um aplicativo MRTK simples do início ao fim. Saiba mais sobre os conceitos de interação e os recursos multiplataforma do MRTK. Aprofunde-se nos blocos de construção de experiência do usuário do MRTK que ajudam você a criar belas experiências de realidade misturada. Uma introdução a ferramentas de desempenho, no MRTK e externas, assim como uma visão geral do Sombreador Padrão do MRTK.

Confira o evento Mixed Reality Dev Days para explorar mais vídeos de sessão.

Envolva-se com a comunidade

Este projeto adotou o Código de Conduta de Software Livre da Microsoft. Para saber mais, confira as Perguntas frequentes sobre o Código de Conduta ou contate o opencode@microsoft.com caso tenha outras dúvidas ou comentários.

Recursos úteis no Centro de Desenvolvimento de realidade misturada

Descobrir Descobrir Projetar Projetar Desenvolver Desenvolver Distribuir Distribuir
Saiba como criar experiências de realidade misturada para o HoloLens e headsets imersivos (VR). Obtenha guias de design. Crie interface do usuário. Saiba mais sobre as interações e a entrada. Obtenha guias de desenvolvimento. Conheça a tecnologia. Entenda a ciência. Prepare seu aplicativo para outras pessoas e considere a criação de um iniciador 3D.

Recursos úteis no Azure

Âncoras Espaciais
Âncoras Espaciais
Serviços de Fala Serviços de Fala Serviços de visão Serviços de visão
As Âncoras Espaciais são um serviço multiplataforma que permite que você crie experiências de Realidade Misturada usando objetos que mantêm seu local em todos os dispositivos ao longo do tempo. Descubra e integre as funcionalidades de fala habilitadas para Azure como conversão de fala em texto, reconhecimento de locutor ou tradução de fala em seu aplicativo. Identifique e analise seu conteúdo de imagem ou de vídeo usando os Serviços de Visão como pesquisa visual computacional, detecção facial, reconhecimento de emoções ou video indexer.

Como contribuir

Saiba como contribuir com o MRTK em Como contribuir.

Obtendo ajuda

Se você tiver problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, há alguns recursos que podem ajudar: