O que é o Kit de Ferramentas de Realidade Misturada

Mixed Reality Toolkit


MRTK-Unity é um projeto conduzido pela Microsoft que fornece um conjunto de componentes e recursos usados para acelerar o desenvolvimento de aplicativos MR de plataforma cruzada no Unity. Confira algumas funções dele abaixo:

  • Fornece o sistema de entrada multiplataforma e os blocos de construção para interações espaciais e interface do usuário.
  • Habilita a prototipagem rápida por meio de simulação no editor, que permite ver as alterações imediatamente.
  • Opera como uma estrutura extensível que fornece aos desenvolvedores a capacidade de trocar componentes principais.
  • Dá suporte a diversas plataformas:
Plataforma Dispositivos com suporte
OpenXR (Unity 2020.3.8+) Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Oculus (Unity 2019.3 ou mais recente) Solicitação Oculus
OpenVR Headsets do Windows Mixed Reality
HTC Vive
Oculus Rift
Acompanhamento de mãos Ultraleap Leap Motion Controller da Ultraleap
Dispositivos móveis iOS e Android
Plataforma Dispositivos com suporte
OpenXR (versão prévia no MRTK 2.6, Unity 2020.3.8+) Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headsets do Windows Mixed Reality
Oculus (Unity 2019.3 ou mais recente) Solicitação Oculus
OpenVR Headsets do Windows Mixed Reality
HTC Vive
Oculus Rift
Acompanhamento de mãos Ultraleap Leap Motion Controller da Ultraleap
Dispositivos móveis iOS e Android

Introdução ao MRTK

Se você for novato no desenvolvimento com MRTK ou Realidade Misturada no Unity, recomendamos que instale e explore o aplicativo de exemplo do Hub de Exemplos do MRTK em seu dispositivo ou emulador.

Assim que você compreender o que a Realidade Misturada e o MRTK têm a oferecer, instale as ferramentas necessárias e siga nossa série de tutoriais de nível de principiante do HoloLens 2.

Quer ver o que está acontecendo nos bastidores?

Documentação

Release notes
Notas sobre a versão
MRTK Overview
Visão geral do MRTK
API Reference
Referência da API

Status do Build

Branch Status de CI Status dos documentos
main CI Status Docs Status

Áreas de recursos

Blocos de construção de experiência do usuário

ButtonBotão
Um controle de botão que dá suporte a vários métodos de entrada, incluindo a mão articulada do HoloLens 2

Bounds ControlControle de Limites
Interface do usuário padrão para manipular objetos no espaço 3D

Object ManipulatorManipulador de Objetos
Script para manipular objetos com uma ou duas mãos

SlateSlate
Plano de estilo 2D que dá suporte à rolagem com entrada de mão articulada

System KeyboardTeclado do Sistema
Exemplo de script de uso do teclado do sistema no Unity

InteractableInterativo
Um script para tornar os objetos interativos com os estados visuais e o suporte a temas

SolverSolucionador
Vários comportamentos de posicionamento de objeto, como marca, bloqueio de corpo, tamanho de exibição constante e magnetismo de superfície

Object CollectionColeção de Objetos
Script para dispor uma matriz de objetos em uma forma tridimensional

TooltipDica de ferramenta
A interface do usuário de anotações com um sistema de âncora/dinâmico flexível, que pode ser usado para rotular controladores de movimento e objetos

SliderControle deslizante
Interface do usuário do controle deslizante para ajustar valores que dão suporte à interação direta de acompanhamento da mão

MRTK Standard ShaderSombreador Padrão do MRTK
O sombreador padrão do MRTK dá suporte a vários elementos de Fluent Design com desempenho

Hand MenuMenu lateral
Interface do usuário protegida por mão para acesso rápido, usando o solucionador de restrição de mão

App BarBarra de aplicativos
Interface do usuário para ativação manual do controle de limites

PointersPonteiros
Saiba mais sobre os vários tipos de ponteiros

Fingertip VisualizationVisualização da ponta do dedo
A funcionalidade visual na ponta do dedo, que aprimora a confiança da interação direta

Near MenuMenu próximo
Interface do usuário do menu flutuante para as interações próximas

Spatial Awareness Getting startedIntrodução ao Reconhecimento Espacial
Fazer com que seus objetos holográficos interajam com os ambientes físicos

Voice CommandComando de voz
Scripts e exemplos para integrar a entrada de fala

Progress IndicatorIndicador de progresso
Indicador visual para comunicação do processo de dados ou operação

DialogCaixa de diálogo
Interface de usuário para solicitar confirmação ou reconhecimento do usuário

Hand CoachOrientador de mão
Componente que ajuda a orientar o usuário quando o gesto não foi ensinado

Hand Physics ServiceServiço de física de mão [Experimental]
O serviço de física de mão permite eventos de colisão de corpo rígido e interações com mãos articuladas

Scrolling CollectionColeção de rolagem
Uma coleção de objetos que rola nativamente objetos 3D

DockDoca [Experimental]
A Doca permite que os objetos sejam movidos para dentro e para fora das posições predeterminadas

Eye Tracking: Target SelectionAcompanhamento ocular: seleção de destino
Combine a entrada de olhos, voz e mão para selecionar com rapidez e facilidade os hologramas em sua cena

Eye Tracking: NavigationAcompanhamento ocular: navegação
Saiba como rolar automaticamente o texto ou ampliar de maneira fluente o conteúdo focado com base no que você está vendo

Eye Tracking: Heat MapAcompanhamento ocular: mapa de calor
Exemplos de registro em log, carregamento e visualização do que os usuários estão olhando em seu aplicativo

Ferramentas

Optimize WindowJanela Otimizar Dependency WindowJanela Dependência Build WindowJanela Criar Input recordingGravação de entrada
Automatizar a configuração de projetos de realidade misturada para otimizações de desempenho Analisar dependências entre ativos e identificar ativos não utilizados Configurar e executar um processo de compilação de ponta a ponta para aplicativos de realidade misturada Movimentação de cabeçotes de gravação e reprodução e dados de acompanhamento da mão no editor

Cenas de exemplo

O MRTK fornece cenas de exemplo que demonstram como usar os recursos do MRTK. Encontre as cenas de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de Interação com a Mão é um ótimo lugar para começar a experimentar com os blocos de construção do MRTK para interações e a interface do usuário.

Example Scene 2

Hub de exemplos do MRTK

Com o Hub de Exemplos do MRTK, você pode experimentar várias cenas de exemplo no MRTK sem compilação e implantar cada cena. Você pode baixar pacotes de aplicativos pré-criados para o HoloLens (x86), o HoloLens 2(ARM) e os headsets imersivos do Windows Mixed Reality (x64) selecionando o pacote "Exemplos do Kit de Ferramentas de Realidade Misturada" na ferramenta de recurso de MR. Use o Portal de Dispositivos do Windows para instalar aplicativos no HoloLens (1ª geração). No HoloLens 2, você pode baixar e instalar o Hub de exemplos do MRTK por meio do aplicativo Microsoft Store.

Confira a página LEIAME do hub de exemplos para saber mais sobre os detalhes de como criar um hub de várias cenas com o sistema de cena do MRTK e o serviço de transição de cena.

Example Scene Hub

Aplicativos de exemplo feitos com o MRTK

Periodic Table of the Elements Galaxy Explorer Surfaces sample app
A tabela periódica dos elementos é um aplicativo de exemplo de software livre que demonstra como usar o sistema de entrada e os blocos de construção do MRTK a fim de criar uma experiência de aplicativo para o HoloLens e os headsets imersivos. Leia a história de portagem: Como trazer o aplicativo Tabela periódica dos elementos para o HoloLens 2 com o MRTK v2 O Galaxy Explorer é um aplicativo de exemplo de software livre originalmente desenvolvido em março de 2016 como parte da campanha 'Compartilhe sua ideia' do HoloLens. O Galaxy Explorer foi atualizado com novos recursos para o HoloLens 2, usando o MRTK v2. Leia a história: A criação do Galaxy Explorer para o HoloLens 2 O Surfaces é um aplicativo de exemplo de software livre para o HoloLens 2, que explora como podemos criar uma sensação tátil com visual, áudio e acompanhamento da mão totalmente articulado. Confira a sessão do Microsoft MR Dev Days Aprendizados com o aplicativo Surfaces para ver o design detalhado e a história de desenvolvimento.

Vídeos de sessão do evento Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutorial sobre como criar um aplicativo MRTK simples do início ao fim. Saiba mais sobre os conceitos de interação e os recursos multiplataforma do MRTK. Aprofunde-se nos blocos de construção de experiência do usuário do MRTK que ajudam você a criar belas experiências de realidade misturada. Uma introdução a ferramentas de desempenho, no MRTK e externas, assim como uma visão geral do Sombreador Padrão do MRTK.

Confira o evento Mixed Reality Dev Days para explorar mais vídeos de sessão.

Envolva-se com a comunidade

Este projeto adotou o Código de Conduta de Software Livre da Microsoft. Para obter mais informações, confira as Perguntas frequentes sobre o código de conduta ou entre em contato com opencode@microsoft.com para enviar outras perguntas ou comentários.

Recursos úteis no Centro de Desenvolvimento de realidade misturada

DiscoverDescobrir DesignProjetar DevelopDesenvolver Distribute)Distribuir
Saiba como criar experiências de realidade misturada para o HoloLens e headsets imersivos (VR). Obtenha guias de design. Crie interface do usuário. Saiba mais sobre as interações e a entrada. Obtenha guias de desenvolvimento. Conheça a tecnologia. Entenda a ciência. Prepare seu aplicativo para outras pessoas e considere a criação de um iniciador 3D.

Recursos úteis no Azure

Spatial Anchors
Âncoras Espaciais
Speech ServicesServiços de Fala Vision ServicesServiços de visão
As Âncoras Espaciais são um serviço multiplataforma que permite que você crie experiências de Realidade Misturada usando objetos que mantêm seu local em todos os dispositivos ao longo do tempo. Descubra e integre as funcionalidades de fala habilitadas para Azure como conversão de fala em texto, reconhecimento de locutor ou tradução de fala em seu aplicativo. Identifique e analise seu conteúdo de imagem ou de vídeo usando os Serviços de Visão como pesquisa visual computacional, detecção facial, reconhecimento de emoções ou video indexer.

Como contribuir

Saiba como contribuir com o MRTK em Como contribuir.

Obtendo ajuda

Se você tiver problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, há alguns recursos que podem ajudar: