Visão geral de exemplos de rastreio de olhos

Este tópico descreve como começar rapidamente com o rastreio de olhos no MRTK, baseando-se em exemplos de rastreio de olhos MRTK (Ativos/MRTK/Exemplos/Demos/EyeTracking). Estas amostras permitem-lhe experimentar uma das nossas novas capacidades de entrada mágica: rastreio de olhos! A demo inclui vários casos de uso, que vão desde ativações implícitas baseadas nos olhos até como combinar sem problemas informações sobre o que você está olhando com a entrada de voz e mão. Isto permite que os utilizadores selecionem e movam de forma rápida e sem esforço o conteúdo holográfico através da sua visão simplesmente olhando para um alvo e dizendo "Selecione" ou realizando um gesto de mão. As demos também incluem um exemplo para pergaminho dirigido a olhar para os olhos, pan e zoom de texto e imagens em uma ardósia. Finalmente, é dado um exemplo para a gravação e visualização da atenção visual do utilizador numa ardósia 2D. Na secção seguinte, encontrará mais detalhes sobre o que cada uma das diferentes amostras do pacote de exemplo de rastreio ocular MRTK (Ativos/MRTK/Exemplos/Demos/EyeTracking) inclui:

Lista de cenas de rastreio de olhos

A secção seguinte é uma visão geral rápida do que são as cenas individuais de demo de rastreio de olhos. As cenas de demonstração de rastreio de olhos MRTK são carregadas de forma admitiva,o que explicaremos abaixo como configurar.

Visão geral das amostras de demonstração de rastreio de olhos

Seleção de alvos apoiados pelo olho

Este tutorial mostra a facilidade de aceder a dados do olhar para selecionar alvos. Inclui um exemplo para um feedback subtil mas poderoso para fornecer ao utilizador a confiança de que um alvo está focado sem ser esmagador. Além disso, existe um exemplo simples de notificações inteligentes que desaparecem automaticamente após serem lidas.

Resumo: Seleções de alvos rápidas e sem esforço utilizando uma combinação de olhos, voz e entrada de mão.

Navegação suportada por olhos

Imagine que está a ler algumas informações num ecrã distante ou no seu leitor eletrónico e quando chega ao final do texto apresentado, o texto desloca-se automaticamente para revelar mais conteúdo. Ou que tal fazer zoom magicamente na direção do sítio onde estavas a olhar? Estes são alguns dos exemplos apresentados neste tutorial sobre a navegação suportada pelos olhos. Além disso, existe um exemplo para a rotação mãos-livres de hologramas 3D, fazendo-os girar automaticamente com base no seu foco atual.

Resumo: Deslocar, fazer, panorâmica, zoom, rotação 3D utilizando uma combinação de olhos, voz e entrada manual.

Posicionamento apoiado nos olhos

Este tutorial mostra um cenário de entrada chamado Put-That-There que remonta à pesquisa do MIT Media Lab no início da década de 1980 com a entrada de olhos, mãos e voz. A ideia é simples: Beneficie dos seus olhos para uma seleção e posicionamento rápidos de alvos. Basta olhar para um holograma e dizer "ponha isto", olhe para onde quer colocá-lo e diga "lá!". Para posicionar mais precisamente o holograma, pode utilizar entradas adicionais das mãos, voz ou controladores.

Resumo: Posicionamento dos hologramas utilizando a entrada de olhos, voz e mão (arrastar e largar). Sliders suportados com olhos usando olhos + mãos.

Visualização da atenção visual

Os dados baseados no local onde os utilizadores procuram são uma ferramenta imensamente poderosa para avaliar a usabilidade de um design e identificar problemas em fluxos de trabalho eficientes. Este tutorial discute diferentes visualizações de rastreio de olhos e como se adequam a diferentes necessidades. Fornecemos exemplos básicos para registar e carregar dados de rastreio de olhos e exemplos para como visualizá-los.

Resumo: Mapa de atenção bidimensional (heatmaps) em ardósias. A gravação & a reproduzir dados de rastreio de olhos.

Criação das amostras de rastreio de olhos MRTK

Pré-requisitos

Note que a utilização de amostras de rastreio de olhos no dispositivo requer uma HoloLens 2 e um pacote de aplicações de amostra que é construído com a capacidade "Gaze Input" no AppXManifest do pacote.

Para utilizar estas amostras de rastreio de olhos no dispositivo, certifique-se de seguir estes passos antes de construir a app em Visual Studio.

1. Carregar EyeTrackingDemo-00-RootScene.unitity

O EyeTrackingDemo-00-RootScene é a cena base (raiz) que tem todos os componentes MRTK de núcleo incluídos. Esta é a cena que precisas de carregar primeiro e a partir da qual vais executar as demonstrações de rastreio de olhos. Dispõe de um menu de cena gráfica que permite alternar facilmente entre as diferentes amostras de rastreio de olhos que serão carregadas aditivamente.

Menu de cena na amostra de rastreamento de olhos

A cena raiz inclui alguns componentes centrais que persistirão em todas as cenas carregadas de aditivos, como os perfis configurados mrtk e a câmara de cena. O MixedRealityBasicSceneSetup (ver screenshot abaixo) inclui um script que carregará automaticamente a cena referenciada no arranque. Por padrão, esta é a seleção EyeTrackingDemo-02-TargetSelection.

Exemplo para o script OnLoadStartScene

2. Adicionar cenas ao menu de construção

Para carregar cenas de aditivos durante o tempo de execução, deve adicionar estas cenas ao seu menu Build Definições -> Scenes in Build. É importante que a cena raiz seja mostrada como a primeira cena da lista:

Construa Definições menu de cena para amostras de rastreamento de olhos

3. Reproduzir as amostras de rastreio de olhos no editor da Unidade

Depois de adicionar as cenas de rastreio de olhos à Build Definições e carregar o EyeTrackingDemo-00-RootScene, há uma última coisa que podes querer verificar: O script 'OnLoadStartScene' que está ligado ao Jogo GameObject Do MixedRealityBasicSceneSetup está ativado? Isto é para que a cena da raiz saiba qual cena de demonstração para carregar primeiro.

Exemplo para o script OnLoad_StartScene

Bora lá! Toque "Play"! Você deve ver várias pedras preciosas aparecerem e o menu de cena no topo.

Amostra de screenshot da cena selecionada do alvo ET

Também deve notar um pequeno círculo semitransparente no centro da sua visão de jogo. Isto funciona como um indicador (cursor) do seu olhar simulado: Basta premir o botão do rato direito e mover o rato para mudar a sua posição. Quando o cursor estiver a pairar sobre as joias, você vai notar que ele irá estalar para o centro da gema atualmente vista. Esta é uma ótima maneira de testar se os eventos são desencadeados como esperado quando "olhar" para um alvo. Esteja ciente de que o olhar simulado através do controlo do rato é um suplemento bastante pobre para os nossos rápidos e não intencionais movimentos oculares. No entanto, é ótimo para testar a funcionalidade básica antes de iterar o design, implantando-o no dispositivo HoloLens 2. Voltando à nossa cena da amostra de rastreio de olhos: A gema gira enquanto é vista e pode ser destruída "olhando" para ela e ...

  • Entrada de pressão (que simula dizer "selecione")
  • Dizendo "selecione" para o seu microfone
  • Enquanto pressiona o Espaço para mostrar a entrada da mão simulada, clique no botão do rato esquerdo para executar uma picada simulada

Descrevemos com mais detalhes como pode alcançar estas interações no nosso tutorial de Seleção de Alvos Apoiados por Olhos.

Ao mover o cursor para a barra de menu superior da cena, irá notar que o item atualmente pairado irá realçar subtilmente. Pode selecionar o item atualmente realçado utilizando um dos métodos de compromisso acima descritos (por exemplo, pressionar Enter). Desta forma, pode alternar entre as diferentes cenas de amostras de rastreio de olhos.

4. Como testar sub-cenas específicas

Ao trabalhar num cenário específico, pode não querer passar sempre pelo menu de cena. Em vez disso, pode querer começar diretamente a partir da cena em que está a trabalhar ao premir o botão Reproduzir. Não há problema! Eis o que pode fazer:

  1. Carregue a cena da raiz

  2. Na cena raiz, desative o script 'OnLoadStartScene'

  3. Arraste e deixe cair uma das cenas de teste de rastreio ocular que são descritas abaixo (ou qualquer outra cena) para a sua visão da Hierarquia, como mostra a imagem abaixo.

    Exemplo para cena de aditivo

  4. Jogo de Imprensa

Por favor, note que carregar a sub-cena como esta não é persistente: Isto significa que se implementar a sua aplicação no dispositivo HoloLens 2, ele só carregará a cena raiz (assumindo que aparece no topo da sua Build Definições). Além disso, quando partilhas o teu projeto com outros, as sub-cenas não são automaticamente carregadas.


Agora que sabe como fazer com que as cenas de exemplo de rastreio de olhos MRTK funcionem, vamos continuar a mergulhar mais profundamente na forma de selecionar hologramas com os olhos: Seleção de alvos suportada pelos olhos.


De volta a "Eye tracking in the MixedRealityToolkit"