O que é o Kit de Ferramentas de Realidade Mista

Toolkit de Realidade Mista


O MRTK-Unity é um projeto da Microsoft que proporciona um conjunto de componentes e funcionalidades, utilizados para acelerar o desenvolvimento de aplicações MR entre várias plataformas no Unity. Veja a seguir algumas das suas funções:

  • Fornece o sistema de entrada transversal e blocos de construção para interações espaciais e UI.
  • Permite prototipagem rápida através de simulação de editor que lhe permite ver mudanças imediatamente.
  • Funciona como uma estrutura extensível que proporciona aos desenvolvedores a capacidade de trocar componentes do núcleo.
  • Suporta uma vasta gama de plataformas:
Plataforma Dispositivos suportados
OpenXR (Unidade 2020.3.8+) Microsoft HoloLens 2
Headset da Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headset da Windows Mixed Reality
Oculus (Unidade 2019.3 ou mais recente) Oculus Quest
OpenVR Headset da Windows Mixed Reality
HTC Vive
Oculus Rift
Rastreio Manual da Ultraleap Controlador de movimento de salto ultraleap
Móvel iOS e Android
Plataforma Dispositivos suportados
OpenXR (Pré-visualização em MRTK 2.6, Unidade 2020.3.8+) Microsoft HoloLens 2
Headset da Windows Mixed Reality
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Headset da Windows Mixed Reality
Oculus (Unidade 2019.3 ou mais recente) Oculus Quest
OpenVR Headset da Windows Mixed Reality
HTC Vive
Oculus Rift
Rastreio Manual da Ultraleap Controlador de movimento de salto ultraleap
Móvel iOS e Android

Nota

Por favor, evite a Unidade 2020.3.21f e 2020.3.22f, que causam o efeito intermitente e a pulsação no HoloLens 2. Para mais informações, consulte aqui.

Começar com o MRTK

Se é novo no desenvolvimento de MRTK ou De Realidade Mista em Unidade, recomendamos a instalação e exploração da aplicação de amostras MRTK Examples Hub no seu dispositivo ou emulador.

Assim que tiveres o jeito do que a Mixed Reality e o MRTK têm para oferecer, instala as ferramentas necessárias e segue o nosso nível de principiante HoloLens séries tutoriais 2.

Quer ver o que se passa debaixo do bairro?

Documentação

Notas de versão
Notas de Versão
Visão geral do MRTK
Visão geral do MRTK
Referência API
Referência da API

Estado de construção

Ramo Estado ci Estado dos Docs
main Estado ci Estado dos Docs

Áreas de recurso

Blocos de construção UX

Botão de botão
Um controlo de botões que suporta vários métodos de entrada, incluindo a mão articulada de HoloLens 2

Controlo delimites
UI padrão para manipular objetos em espaço 3D

Manipulador deObjetos Manipulador de Objetos
Roteiro para manipular objetos com uma ou duas mãos

Ardósia
Plano de estilo 2D que suporta o deslocamento com entrada articulada da mão

Teclado dosistema deteclado do sistema
Script de exemplo de utilização do teclado do sistema em Unidade

Interagiávelinteragindo
Um roteiro para tornar objetos interagidos com estados visuais e suporte temático

Solver Solver
Vários comportamentos de posicionamento de objetos tais como tag-along, body-lock, tamanho de vista constante e magnetismo superficial

Coleção deobjetos de coleçãode objetos
Script para colocar uma variedade de objetos em uma forma tridimensional

Ponta deferramentas da ponta da ferramenta
UI de anotação com um sistema flexível de âncora/pivô, que pode ser usado para rotular controladores de movimento e objetos

Slider deslizante
UI de slider para ajustar valores suportando a interação de rastreamento direto da mão

MrtK Standard ShaderMRTK Standard Shader
O shader Standard da MRTK suporta vários elementos de design Fluent com desempenho

Menu de mão do menu de mão
UI bloqueado à mão para acesso rápido, usando o Solucionador de Restrição de Mão

App BarApp Bar Bar Bar
UI para a ativação manual do Controle de Limites

Ponteiros
Saiba mais sobre vários tipos de ponteiros

Visualização daponta do dedo da ponta do dedo do dedo
Acessibilidade visual na ponta do dedo que melhora a confiança para a interação direta

Perto do MenuPerto menu
UI do menu flutuante para as interações próximas

Consciência Espacial Começandoa Visão de Consciência Espacial
Faça com que os seus objetos holográficos interajam com os ambientes físicos

Comando de Voz de Comando de Voz
Scripts e exemplos para integrar a entrada de discurso

Indicador deprogresso Indicador de Progresso
Indicador visual para a comunicação do processo ou funcionamento de dados

Diálogo de Diálogo
UI para pedir confirmação ou reconhecimento do utilizador

Treinadorde mão do treinadorde mão
Componente que ajuda a guiar o utilizador quando o gesto não foi ensinado

Serviço deFísica de MãoServiço de Física [Experimental]
O serviço de física da mão permite eventos rígidos de colisão corporal e interações com mãos articuladas

Coleção de scrolling coleção depergaminho
Uma coleção de objetos que desloque objetos 3D nativo

Doca da Doca [Experimental]
A Doca permite que os objetos sejam movidos para dentro e para fora de posições pré-determinadas

Eye Tracking: Target SelectionEye Tracking: Target Selection
Combine olhos, voz e entrada de mão para selecionar hologramas de forma rápida e sem esforço em toda a sua cena

Rastreio de olhos: Rastreio de olhos de navegação:navegação
Saiba como fazer o texto do pergaminho automático ou fazer zoom fluentemente em conteúdo focado com base no que está a ver

Rastreio de olhos: rastreio de olhos de mapade calor: mapa de calor
Exemplos para registar, carregar e visualizar o que os utilizadores têm procurado na sua aplicação

Ferramentas

Otimizar janelaotimizar janela Janela dedependência da janela Construa janelade construção de janela Gravação de entrada Gravaçãode entrada
Automatizar a configuração de projetos de Realidade Mista para otimizações de desempenho Analisar as dependências entre ativos e identificar ativos não izados Configure e execute um processo de construção de ponta a ponta para aplicações de Realidade Mista Recorde e reprodução movimento da cabeça e dados de rastreio de mãos no editor

Cenas de exemplo

O MRTK fornece cenas de exemplo que demonstram como usar as características do MRTK. Pode encontrar as cenas de exemplo na pasta Ativos/MRTK/Exemplos/Demos. Leia a página de cenas exemplo para aprender a adquirir e executar cenas de exemplo. A cena de Exemplos de Interação Manual é um ótimo lugar para começar a experimentar os blocos de construção do MRTK para interações e UI.

Cena de exemplo 2

Hub de exemplos MRTK

Com o MRTK Examples Hub, pode experimentar várias cenas de exemplo no MRTK sem construir e implantar cada cena. Pode descarregar pacotes de aplicativos pré-construídos para HoloLens(x86), HoloLens 2 (ARM) e Windows Mixed Reality auscultadores imersivos (x64) selecionando o pacote "Mixed Reality Toolkit Examples" na Ferramenta de Recurso MR. Certifique-se de que utiliza o Portal do Dispositivo Windows para instalar aplicações no HoloLens (1ª geração). No dia 2 HoloLens, pode descarregar e instalar o MRTK Examples Hub através da aplicação Microsoft Store.

Consulte a página Examples Hub README para saber os detalhes sobre a criação de um hub multi-cena com o sistema de cena e o serviço de transição de cena do MRTK.

Centro de cena de exemplo

Aplicativos de amostra feitos com MRTK

Tabela Periódica dos Elementos Galaxy Explorer Aplicação de amostra de superfícies
O Periodic Table of the Elements é uma aplicação de amostra de código aberto que demonstra como usar o sistema de entrada e blocos de construção do MRTK para criar uma experiência de aplicação para auscultadores HoloLens e imersivos. Leia a história da porção: Trazer a tabela periódica da app Elementos para HoloLens 2 com MRTK v2 O Galaxy Explorer é uma aplicação de amostra de código aberto que foi originalmente desenvolvida em março de 2016 como parte da campanha HoloLens 'Share Your Idea'. O Galaxy Explorer foi atualizado com novas funcionalidades para HoloLens 2, utilizando o MRTK v2. Leia a história: The Making of Galaxy Explorer for HoloLens 2 Surfaces é uma aplicação de amostra de código aberto para HoloLens 2 que explora como podemos criar uma sensação táctil com rastreio visual, áudio e totalmente articulado. Confira a sessão do Microsoft MR Dev Days Aprendizagens da aplicação Surfaces para obter a história detalhada de design e desenvolvimento.

Vídeos da sessão de Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutorial sobre como criar uma simples aplicação MRTK do início ao fim. Conheça os conceitos de interação e as capacidades multiplataformas do MRTK. Mergulhe profundamente nos blocos de construção UX do MRTK que o ajudam a construir belas experiências de realidade mista. Uma introdução a ferramentas de desempenho, tanto no MRTK como no exterior, bem como uma visão geral do MRTK Standard Shader.

Veja o Mixed Reality Dev Days para explorar mais vídeos de sessão.

Envolver-se com a comunidade

Este projeto adotou o Microsoft Open Source Code of Conduct (Código de Conduta do Microsoft Open Source). Para mais informações, consulte o Código de Conduta faQ ou contacte com quaisquer perguntas ou comentários adicionais.

Recursos úteis na Dev Center da Realidade Mista

DescubraDescobrir Designdesign DesenvolverDesenvolver Distribuir)Distribuir
Aprenda a construir experiências de realidade mista para auscultadores HoloLens e imersivos (VR). Obtenha guias de design. Construa a interface do utilizador. Aprenda interações e entrada. Obter guias de desenvolvimento. Aprenda a tecnologia. Compreender a ciência. Prepare a sua aplicação para outros e considere criar um lançador 3D.

Recursos úteis em Azure

Spatial Anchors
Spatial Anchors
Serviços defalade serviços de fala Serviços de Visão de Serviços de Visão
O Spatial Anchors é um serviço de plataformas cruzadas que permite criar experiências de Realidade Mista utilizando objetos que persistem a sua localização através dos dispositivos ao longo do tempo. Descubra e integre as capacidades de fala alimentadas pelo Azure, como o discurso ao texto, o reconhecimento de colunas ou a tradução da fala na sua aplicação. Identifique e analise o seu conteúdo de imagem ou vídeo utilizando serviços de visão de visão por computador, deteção facial, reconhecimento de emoções ou indexante de vídeo.

Como contribuir

Saiba como pode contribuir para o MRTK na Contribuir.

Obter ajuda

Se encontrar problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, existem alguns recursos que podem ajudar: