Acompanhamento ocular no HoloLens 2

Eye tracking demo in MRTK

HoloLens 2 permite um novo nível de contexto e compreensão humana dentro da experiência holográfica, fornecendo aos desenvolvedores a capacidade de usar informações sobre o que o usuário está olhando. Esta página explica como os desenvolvedores podem se beneficiar do acompanhamento ocular para vários casos de uso e o que procurar ao projetar interações de usuário baseadas em olhar.

A API de acompanhamento ocular foi projetada com a privacidade de um usuário em mente, evitando passar qualquer informação identificável, especialmente qualquer biometria. Para aplicativos compatíveis com o rastreamento de olhos, o usuário precisa conceder permissão de aplicativo para usar informações de acompanhamento ocular.

Suporte a dispositivos

Recurso HoloLens (1ª geração) HoloLens 2 Headsets imersivos
Olhar para os olhos ✔️

Demonstração dos conceitos de design de rastreamento da cabeça e dos olhos

Se quiser ver os conceitos de design de rastreamento da cabeça e dos olhos em ação, confira abaixo nosso vídeo de demonstração do Projetando hologramas - Rastreamento da cabeça e rastreamento dos olhos. Depois de assistir ao vídeo, prossiga para saber mais sobre os tópicos específicos.

Este vídeo foi obtido do aplicativo HoloLens 2 "Designing Holograms". Baixe-o e aproveite a experiência completa aqui.

Calibragem

Para que o acompanhamento ocular funcione com precisão, cada usuário deve passar por uma calibragem de usuário de acompanhamento ocular para a qual o usuário precisa examinar um conjunto de destinos holográficos. Isso permite que o dispositivo ajuste o sistema para uma experiência de visualização mais confortável e de qualidade mais alta para o usuário e para garantir o acompanhamento preciso dos olhos ao mesmo tempo.

O acompanhamento ocular deve funcionar para a maioria dos usuários, mas há casos raros em que um usuário não pode calibrar com êxito. A calibragem pode falhar por vários motivos, incluindo, mas não se limitando a:

  • O usuário rejeitou o processo de calibragem anteriormente
  • O usuário se distraiu e não seguiu os destinos de calibragem
  • O usuário tem certos tipos de lentes de contato e óculos, que o sistema ainda não dá suporte
  • O usuário tem determinada fisiologia ocular, condições oculares ou fez cirurgia ocular, que o sistema ainda não dá suporte
  • Fatores externos que inibem o acompanhamento visual confiável, como manchas no visor HoloLens ou óculos, luz solar direta intensa e oclusãos devido ao cabelo na frente dos olhos

Os desenvolvedores devem garantir que forneçam suporte adequado para usuários para os quais os dados de acompanhamento ocular podem não estar disponíveis (que não podem ser calibrados com êxito). Fornecemos recomendações para soluções de fallback na seção na parte inferior desta página.

Para saber mais sobre a calibragem e sobre como garantir uma experiência tranquila, verifique nossa página de calibragem do usuário de rastreamento ocular .


Dados de acompanhamento ocular disponíveis

Antes de entrar em detalhes sobre casos de uso específicos para entrada de olhar, queremos apontar brevemente os recursos que a API de Acompanhamento Ocular do HoloLens 2 fornece. Os desenvolvedores têm acesso a um único raio de olhar (origem e direção do olhar) a aproximadamente 30 FPS (30 Hz). Para obter informações mais detalhadas sobre como acessar dados de acompanhamento ocular, consulte nossos guias de desenvolvedor para usar o olhar no DirectX e o olhar no Unity.

O olhar previsto está aproximadamente dentro de 1,5 graus no ângulo visual ao redor do destino real (consulte a ilustração abaixo). Como são esperadas pequenas imprecisões, os desenvolvedores devem planejar alguma margem em torno desse valor de limite inferior (por exemplo, 2,0-3,0 graus pode resultar em uma experiência muito mais confortável). Discutiremos como abordar a seleção de destinos pequenos mais detalhadamente abaixo. Para que o acompanhamento ocular funcione com precisão, cada usuário deve passar por uma calibração de usuário de acompanhamento ocular.

Optimal target size at 2 meter distance
Tamanho ideal do destino a uma distância de 2 metros


Casos de uso

O acompanhamento ocular permite que os aplicativos acompanhem para que local o usuário está olhando em tempo real. Os casos de uso a seguir descrevem algumas interações possíveis com o acompanhamento ocular em HoloLens 2 na realidade misturada. Esses casos de uso ainda não fazem parte da experiência do Shell Holográfico (ou seja, a interface que você vê ao iniciar o HoloLens 2). Você pode experimentar alguns deles no Realidade Misturada Toolkit, que fornece vários exemplos interessantes e poderosos para usar o acompanhamento ocular, como seleções de destino rápidas e sem esforço com suporte nos olhos, e rolar automaticamente o texto com base no que o usuário olha.

Intenção do usuário

Informações sobre onde e o que um usuário examina fornece um contexto poderoso para outras entradas, como voz, mãos e controladores. Isso pode ser usado para várias tarefas. Por exemplo, isso pode variar de direcionamento rápido e sem esforço em toda a cena, olhando para um holograma e dizendo "selecionar" (também ver olhar e confirmar) ou "colocar isso...", em seguida, olhando para onde o usuário deseja colocar o holograma e dizer "... lá". Exemplos para esse caso podem ser encontrados em Kit de Ferramentas de Realidade Misturada – Seleção de alvo com suporte ocular e Kit de Ferramentas de Realidade Misturada – Posicionamento de alvo com suporte ocular.

Além disso, um exemplo de intenção de usuário pode incluir o uso de informações sobre o que os usuários olham para aprimorar o envolvimento com agentes virtuais incorporados e hologramas interativos. Por exemplo, os agentes virtuais podem adaptar as opções disponíveis e seu comportamento, com base no conteúdo exibido no momento.

Ações implícitas

A categoria de ações implícitas está intimamente relacionada à intenção do usuário. A ideia é que hologramas ou elementos de interface do usuário reajam de forma instintiva que pode nem parecer que o usuário está interagindo com o sistema, mas sim que o sistema e o usuário estão sincronizados. Um exemplo é a rolagem automática baseada em olhar onde o usuário pode ler um texto longo, que começa a rolar automaticamente quando o usuário chega à parte inferior da caixa de texto para manter o usuário no fluxo de leitura, sem levantar um dedo.
Um aspecto fundamental disso é que a velocidade de rolagem se adapta à velocidade de leitura do usuário. Outro exemplo é o zoom e o painel com suporte para os olhos em que o usuário pode sentir vontade de mergulhar exatamente em direção ao que ele ou ela está focado. Disparar e controlar a velocidade de zoom pode ser controlado pela entrada de voz ou mão, o que é importante para fornecer ao usuário a sensação de controle, evitando ser sobrecarregado. Falaremos sobre essas considerações de design mais detalhadamente abaixo. Uma vez ampliado, o usuário pode seguir sem problemas, por exemplo, o curso de uma rua para explorar seu bairro usando seu olhar para os olhos. Mais informações sobre esses tipos de interações podem ser encontradas na página Realidade Misturada Toolkit – Navegação com suporte para olhos.

Outros casos de uso para ações implícitas podem incluir:

  • Notificações inteligentes: Já se irritou com notificações aparecendo exatamente onde você está procurando? Levando em conta o que um usuário está prestando atenção, você pode melhorar essa experiência compensando as notificações de onde o usuário está observando no momento. Isso limita as distrações e as descarta automaticamente depois que o usuário termina de ler.
  • Hologramas atentos: Hologramas que reagem sutilmente ao serem olhados. Isso pode variar de elementos de interface do usuário ligeiramente brilhantes, uma flor florescendo lentamente até um cão virtual começando a olhar para trás para o usuário e abanando sua cauda. Essa interação pode fornecer uma sensação interessante de conectividade e satisfação em seu aplicativo.

Acompanhamento de atenção

As informações sobre onde ou o que os usuários olham podem ser uma ferramenta imensamente poderosa. Ele pode ajudar a avaliar a usabilidade de designs e identificar problemas nos fluxos de trabalho para torná-los mais eficientes. A visualização e a análise de acompanhamento ocular são uma prática comum em várias áreas do aplicativo. Com HoloLens 2, fornecemos uma nova dimensão para esse entendimento, pois os hologramas 3D podem ser colocados em contextos do mundo real e avaliados adequadamente. O Realidade Misturada Toolkit fornece exemplos básicos para registrar em log e carregar dados de rastreamento ocular e como visualizá-los. A Microsoft se dedica a facilitar a inovação, garantindo que os usuários tenham uma experiência informada e transparente com a forma como suas informações de acompanhamento ocular são usadas. Trabalharemos com nossos desenvolvedores e equipes de UX para fornecer diretrizes para terceiros para garantir que as experiências sejam centralizados em torno do usuário.

Outros aplicativos nessa área podem incluir:

  • Visualização remota do olhar: Visualizações remotas de olhar: visualize o que os colaboradores remotos estão olhando, para poder fornecer comentários imediatos e facilitar o processamento de informações mais precisos.
  • Estudos de pesquisa de usuário: O acompanhamento de atenção pode ajudar os pesquisadores a obter mais informações sobre como os usuários percebem e se envolvem com o ambiente natural, sem interferir, a projetar interações mais instintivas entre humanos e computadores. O acompanhamento ocular pode fornecer informações que não são diretamente articuladas pelos participantes do estudo, o que, caso contrário, poderia ser facilmente perdido pelo pesquisador.
  • Treinamento e monitoramento de desempenho: Pratique e otimize a execução de tarefas identificando gargalos com mais eficiência no fluxo de execução. O acompanhamento ocular pode fornecer informações naturais, em tempo real e objetivas para ajudar a melhorar o treinamento, a produtividade e a segurança no local de trabalho.
  • Projetar avaliações, marketing e pesquisa de consumidores: O acompanhamento ocular permite que empresas comerciais realizem estudos de marketing e consumidores em ambientes reais ou analisem o que captura a atenção de um usuário para melhorar o design de produtos ou espaços.

Outros casos de uso

  • Jogos: Já quis ter superpoderes? Esta é a sua chance! Você pode levitar hologramas olhando para eles. Dispare raios laser de seus olhos, experimente em RoboRaid por HoloLens 2. Transforme inimigos em pedra ou congele-os. Use sua visão de raios X para explorar prédios. O limite é sua imaginação. Cuidado para não sobrecarregar o usuário, porém, para saber mais, confira nossas diretrizes de design de entrada baseadas em olhar.

  • Avatares expressivos: O acompanhamento ocular ajuda em avatares 3D mais expressivos usando dados de acompanhamento visual dinâmico para animar os olhos do avatar que indicam o que o usuário está olhando.

  • Entrada de texto: O acompanhamento ocular pode ser usado como uma alternativa para entrada de texto de baixo esforço, especialmente quando a fala ou as mãos são inconvenientes de usar.


Usando o olhar para interação

Criar uma interação que aproveite o direcionamento rápido dos olhos pode ser um desafio. Por um lado, os olhos se movem tão rápido que você precisa ter cuidado sobre como usar a entrada de olhar para os olhos, pois caso contrário, os usuários podem achar a experiência esmagadora ou distrativa. Por outro lado, você também pode criar experiências verdadeiramente mágicas que excitarão seus usuários! Para ajudá-lo, confira nossa visão geral das principais vantagens, desafios e recomendações de design para o olhar para interação.

Soluções de fallback quando o acompanhamento ocular não está disponível

Em casos raros, os dados de acompanhamento ocular podem não estar disponíveis. Isso pode ser devido a diferentes motivos dos quais os mais comuns são listados abaixo:

  • O sistema falhou ao calibrar o usuário.
  • O usuário ignorou a calibragem.
  • O usuário está calibrado, mas decidiu não conceder permissão ao aplicativo para usar os dados de acompanhamento ocular.
  • O usuário tem óculos exclusivos ou alguma condição ocular que o sistema ainda não dá suporte.
  • Fatores externos inibindo o acompanhamento visual confiável, como manchas no visor HoloLens ou óculos, luz solar direta intensa e oclusão por causa do cabelo na frente dos olhos.

Os desenvolvedores devem garantir que haja suporte de fallback apropriado para esses usuários. Na página Acompanhamento ocular no DirectX , explicamos as APIs necessárias para detectar se os dados de rastreamento ocular estão disponíveis.

Embora alguns usuários possam ter decidido conscientemente revogar, o acesso aos seus dados de acompanhamento ocular e estão bem com a compensação de uma experiência inferior do usuário com a privacidade de não fornecer acesso aos seus dados de rastreamento ocular, em alguns casos isso pode não ser intencional. Se o aplicativo usa acompanhamento ocular e essa é uma parte importante da experiência, recomendamos comunicar claramente isso ao usuário.

Informar gentilmente ao usuário por que o acompanhamento ocular é essencial para seu aplicativo (talvez até mesmo listar alguns recursos aprimorados) para experimentar todo o potencial do aplicativo, pode ajudar o usuário a entender melhor o que está desistindo. Ajude o usuário a identificar por que o acompanhamento ocular pode não estar funcionando (com base nas verificações acima) e ofereça algumas sugestões para solucionar rapidamente possíveis problemas.

Por exemplo, se você puder detectar que o sistema dá suporte ao acompanhamento ocular, o usuário está calibrado e até mesmo deu sua permissão, mas nenhum dado de acompanhamento ocular é recebido, então isso pode apontar para alguns outros problemas, como manchas ou os olhos sendo impedidos.

Há casos raros de usuários para os quais o acompanhamento ocular pode não funcionar. Portanto, respeite isso permitindo ignorar ou até mesmo desabilitar lembretes para habilitar o acompanhamento ocular em seu aplicativo.

Recuar para aplicativos usando o olhar como um ponteiro de entrada primário

Se o aplicativo usa o olhar como uma entrada de ponteiro para selecionar rapidamente hologramas em toda a cena, mas os dados de rastreamento ocular não estão disponíveis, recomendamos voltar ao olhar para a cabeça e começar a mostrar o cursor de olhar para a cabeça. É recomendável usar um tempo limite (por exemplo, 500-1500 ms) para determinar se deseja alternar ou não. Essa ação impede que cursores apareçam sempre que o sistema pode perder o controle brevemente devido a movimentos rápidos nos olhos ou piscadelas e pisca. Se você for um desenvolvedor do Unity, o fallback automático para o foco de cabeça já será tratado no Realidade Misturada Toolkit. Se você for um desenvolvedor do DirectX, precisará lidar com esse comutador por conta própria.

Recuar para outros aplicativos específicos do rastreamento ocular

Seu aplicativo pode usar o olhar de uma maneira exclusiva que seja adaptada especificamente aos olhos. Por exemplo, animar os olhos de um avatar ou para os focos de calor de atenção baseados nos olhos que dependem de informações precisas sobre a atenção visual. Nesse caso, não há um fallback claro. Se o acompanhamento ocular não estiver disponível, essas funcionalidades poderão precisar ser desabilitadas. Novamente, recomendamos comunicar claramente isso ao usuário que pode não saber que a funcionalidade não está funcionando.


Esta página, com sorte, forneceu uma boa visão geral para que você comece a entender a função de acompanhamento ocular e entrada de olhar para HoloLens 2. Para começar a desenvolver, confira nossas informações sobre a função de olhar para interagir com hologramas, olhar para os olhos no Unity e olhar para os olhos no DirectX.

Confira também