Visão de exemplos


Agora que sabe como fazer com que as cenas de exemplo de rastreio de olhos MRTK funcionem, vamos continuar a mergulhar mais profundamente na forma de selecionar hologramas com os olhos: Seleção de alvos suportada pelos olhos.


De volta a "Eye tracking in the MixedRealityToolkit"

Este tópico descreve como começar rapidamente com o rastreio ocular no MRTK, baseando-se em exemplos de rastreio de olhos MRTK (Ativos/MRTK/Exemplos/Demos/EyeTracking). Estas amostras permitem-lhe experimentar uma das nossas novas capacidades de entrada mágica: rastreio de olhos! A demo inclui vários casos de uso, desde ativações implícitas baseadas nos olhos até como combinar sem problemas informações sobre o que está a ver com a entrada de voz e mão. Isto permite que os utilizadores selecionem e movam o conteúdo holográfico de forma rápida e sem esforço através da sua visão simplesmente olhando para um alvo e dizendo "Selecione" ou realizando um gesto de mão. As demos também incluem um exemplo para pergaminho dirigido a olhar para os olhos, pan e zoom de texto e imagens em uma ardósia. Finalmente, é dado um exemplo para a gravação e visualização da atenção visual do utilizador numa ardósia 2D. Na secção seguinte, encontrará mais detalhes sobre o que cada uma das diferentes amostras do pacote de exemplo de rastreio ocular MRTK (Ativos/MRTK/Exemplos/Demos/EyeTracking) inclui:

Lista de cenas de rastreio de olhos

A secção seguinte é uma visão geral rápida do que são as cenas individuais de demo de rastreio de olhos. As cenas de demonstração de rastreio de olhos MRTK são carregadas admitivamente, o que explicaremos abaixo como configurar.

Visão geral das amostras de demonstração de rastreio de olhos

Seleção de alvos apoiados pelo olho

Este tutorial mostra a facilidade de aceder a dados de olhares para selecionar alvos. Inclui um exemplo para feedback subtil mas poderoso para fornecer ao utilizador a confiança de que um alvo está focado sem ser esmagador. Além disso, existe um exemplo simples de notificações inteligentes que desaparecem automaticamente após serem lidas.

Resumo: Seleções de alvo rápida e sem esforço utilizando uma combinação de olhos, voz e entrada de mão.

Navegação suportada por olhos

Imagine que está a ler algumas informações num ecrã distante ou no seu leitor eletrónico e quando chega ao final do texto apresentado, o texto desloca-se automaticamente para revelar mais conteúdo. Ou que tal fazer zoom magicamente em direção ao sítio onde estavas a olhar? Estes são alguns dos exemplos apresentados neste tutorial sobre a navegação suportada pelos olhos. Além disso, existe um exemplo para a rotação mãos-livres de hologramas 3D, fazendo-os girar automaticamente com base no seu foco atual.

Resumo: Deslocar, fazer, panorâmica, zoom, rotação 3D utilizando uma combinação de olhos, voz e entrada manual.

Posicionamento apoiado nos olhos

Este tutorial mostra um cenário de entrada chamado Put-That-There que remonta à pesquisa do MIT Media Lab no início da década de 1980 com a entrada de olhos, mãos e voz. A ideia é simples: Beneficie dos seus olhos para uma seleção e posicionamento rápidos de alvos. Basta olhar para um holograma e dizer "ponha isto",olhe para onde quer colocá-lo e diga "lá!". Para posicionar mais precisamente o holograma, pode utilizar entradas adicionais das mãos, voz ou controladores.

Resumo: Posicionamento dos hologramas utilizando a entrada de olhos, voz e mão(arrastar e largar). Sliders suportados com olhos usando olhos + mãos.

Visualização da atenção visual

Os dados baseados no local onde os utilizadores procuram são uma ferramenta imensamente poderosa para avaliar a usabilidade de um design e identificar problemas em fluxos de trabalho eficientes. Este tutorial discute diferentes visualizações de rastreio de olhos e como se adequam a diferentes necessidades. Fornecemos exemplos básicos para registar e carregar dados de rastreio de olhos e exemplos para como visualizá-los.

Resumo: Mapa de atenção bidimensional (heatmaps) em ardósias. Gravação & de dados de rastreio de olhos.

Criação das amostras de rastreio de olhos MRTK

Pré-requisitos

Note que a utilização das amostras de rastreio ocular no dispositivo requer uma HoloLens 2 e um pacote de aplicações de amostra que é construído com a capacidade "Gaze Input" no AppXManifest do pacote.

Para utilizar estas amostras de rastreio de olhos no dispositivo, certifique-se de seguir estes passos antes de construir a aplicação em Visual Studio.

1. Carregar EyeTrackingDemo-00-RootScene.unitity

O EyeTrackingDemo-00-RootScene é a cena base(raiz)que tem todos os componentes MRTK de núcleo incluídos. Esta é a cena que precisas de carregar primeiro e da qual vais executar as demonstrações de rastreio ocular. Dispõe de um menu de cena gráfica que permite alternar facilmente entre as diferentes amostras de rastreio de olhos que serão carregadas aditivamente.

Menu de cena na amostra de rastreamento de olhos

A cena raiz inclui alguns componentes do núcleo que persistirão em todas as cenas carregadas de aditivos, como os perfis configurados mrtk e a câmara de cena. O MixedRealityBasicSceneSetup (ver screenshot abaixo) inclui um script que carregará automaticamente a cena referenciada no arranque. Por padrão, esta é a seleção eyeTrackingDemo-02-TargetSelection.

Exemplo para o script OnLoadStartScene

2. Adicionar cenas ao menu de construção

Para carregar cenas de aditivos durante o tempo de execução, tem de adicionar estas cenas ao seu menu Build Definições - Scenes in Build first. É importante que a cena raiz seja mostrada como a primeira cena da lista:

Construa Definições menu de cena para amostras de rastreamento de olhos

3. Reproduzir as amostras de rastreio de olhos no editor da Unidade

Depois de adicionar as cenas de rastreio de olhos à Build Definições e carregar o EyeTrackingDemo-00-RootScene,há uma última coisa que podes querer verificar: O script 'OnLoadStartScene' que está ligado ao Jogo GameObject Do MixedRealityBasicSceneSetup está ativado? Isto é para que a cena da raiz saiba qual cena de demonstração para carregar primeiro.

Exemplo para o script OnLoad_StartScene

Bora lá! Toque "Play"! Você deve ver várias pedras preciosas aparecerem e o menu de cena no topo.

Screenshot da amostra da cena selecionada do alvo ET

Você também deve notar um pequeno círculo semitransparente no centro da sua visão de jogo. Isto funciona como um indicador (cursor) do seu olhar simulado: Basta premir o botão do rato direito e mover o rato para mudar a sua posição. Quando o cursor estiver a pairar sobre as joias, você vai notar que ele irá estalar para o centro da gema atualmente vista. Esta é uma ótima maneira de testar se os eventos são desencadeados como esperado quando "olhar" para um alvo. Esteja ciente de que o olhar simulado através do controlo do rato é um suplemento bastante pobre para os nossos rápidos e não intencionais movimentos oculares. No entanto, é ótimo para testar a funcionalidade básica antes de iterar o design, implantando-o no dispositivo HoloLens 2. Voltando à nossa cena da amostra de rastreio de olhos: A gema gira enquanto é vista e pode ser destruída "olhando" para ela e ...

  • Entrada de pressão (que simula dizer "selecione")
  • Dizendo "selecione" para o seu microfone
  • Enquanto pressiona o Espaço para mostrar a entrada da mão simulada, clique no botão do rato esquerdo para executar uma picada simulada

Descrevemos com mais detalhe como pode alcançar estas interações no nosso tutorial de Seleção de Alvos Suportado por Olhos.

Ao mover o cursor para a barra de menu superior da cena, irá notar que o item atualmente pairado irá realçar subtilmente. Pode selecionar o item atualmente realçado utilizando um dos métodos de compromisso acima descritos (por exemplo, pressionar Enter). Desta forma, pode alternar entre as diferentes cenas de amostras de rastreio de olhos.

4. Como testar sub-cenas específicas

Ao trabalhar num cenário específico, pode não querer ver sempre o menu de cena. Em vez disso, pode querer começar diretamente a partir da cena em que está a trabalhar ao premir o botão Reproduzir. Não há problema! Eis o que pode fazer:

  1. Carregue a cena da raiz

  2. Na cena raiz, desative o script 'OnLoadStartScene'

  3. Arraste e deixe cair uma das cenas de teste de rastreio ocular que são descritas abaixo (ou qualquer outra cena) para a sua visão da Hierarquia, como mostra a imagem abaixo.

    Exemplo para cena de aditivo

  4. Jogo de Imprensa

Por favor, note que carregar a sub-cena como esta não é persistente: Isto significa que se implementar a sua aplicação no dispositivo HoloLens 2, só carregará a cena raiz (assumindo que aparece no topo da sua Build Definições). Além disso, quando partilhas o teu projeto com outros, as sub-cenas não são automaticamente carregadas.