Acompanhamento ocular no HoloLens 2
HoloLens 2 permite um novo nível de contexto e compreensão humana dentro da experiência holográfica, fornecendo aos desenvolvedores a capacidade de usar informações sobre o que o usuário está olhando. Esta página explica como os desenvolvedores podem se beneficiar do acompanhamento ocular para vários casos de uso e o que procurar ao projetar interações do usuário baseadas em foco.
A API de Acompanhamento Ocular foi projetada com a privacidade de um usuário em mente; evita a passagem de qualquer informação identificável, especialmente qualquer biometria. Para aplicativos compatíveis com acompanhamento ocular, o usuário precisa conceder permissão de aplicativo para usar informações de acompanhamento ocular.
Suporte a dispositivos
| Recurso | HoloLens (1ª geração) | HoloLens 2 | Headsets imersivos |
| Olhar para os olhos | ❌ | ✔️ | ❌ |
Demonstração dos conceitos de design de rastreamento da cabeça e dos olhos
Se quiser ver os conceitos de design de rastreamento da cabeça e dos olhos em ação, confira abaixo nosso vídeo de demonstração do Projetando hologramas - Rastreamento da cabeça e rastreamento dos olhos. Depois de assistir ao vídeo, prossiga para saber mais sobre os tópicos específicos.
Este vídeo foi obtido do aplicativo HoloLens 2 "Designing Holograms". Baixe-o e aproveite a experiência completa aqui.
Calibragem
Para que o acompanhamento ocular funcione com precisão, cada usuário precisa passar por uma calibragem de usuário de rastreamento ocular para a qual o usuário precisa examinar um conjunto de destinos holográficos. Isso permite que o dispositivo ajuste o sistema, resultando em uma experiência de visualização mais confortável e de maior qualidade para o usuário e garantindo um acompanhamento ocular preciso ao mesmo tempo.
O acompanhamento ocular deve funcionar para a maioria dos usuários, mas há casos raros em que um usuário não pode calibrar com êxito. A calibragem pode falhar por vários motivos, incluindo, mas não se limitando a:
- O usuário anteriormente optou por não realizar o processo de calibragem.
- O usuário se distraiu e não seguiu os destinos de calibragem.
- O usuário tem certos tipos de lentes de contato e óculos aos quais o sistema ainda não dá suporte.
- O usuário tem determinada fisiologia ocular ou condições oculares ou fez uma cirurgia ocular, que o sistema ainda não dá suporte.
- Fatores externos que inibem o rastreamento visual confiável, como manchas no visor do HoloLens ou óculos, luz solar direta intensa e oclusão devido ao cabelo na frente dos olhos.
Os desenvolvedores devem fornecer suporte adequado para usuários para os quais os dados de acompanhamento ocular podem não estar disponíveis (que não podem calibrar com êxito). Fornecemos recomendações para soluções de fallback na seção na parte inferior desta página.
Para saber mais sobre a calibragem e como garantir uma experiência tranquila, consulte nossa página de calibragem do usuário de rastreamento ocular .
Dados de acompanhamento ocular disponíveis
O acompanhamento ocular em HoloLens 2 permite que os desenvolvedores projetem cenários naturais e intuitivos de entrada e interação. A API de Acompanhamento Ocular fornece as informações sobre o que o usuário está olhando como um único raio de foco ocular (origem e direção do foco) a aproximadamente 30 FPS (30 Hz). Para que o acompanhamento ocular funcione com precisão, cada usuário deve passar por uma calibração de usuário de acompanhamento ocular. Para obter informações mais detalhadas sobre como acessar dados de acompanhamento ocular, consulte nossos guias de desenvolvedor para usar o foco com os olhos no DirectX e o foco com os olhos no Unity.
O foco ocular previsto está aproximadamente dentro de 1,5 graus em ângulo visual ao redor do destino real (consulte a ilustração abaixo). Pequenas imprecisões são esperadas, portanto, os desenvolvedores devem planejar alguma margem em torno desse valor de limite inferior (por exemplo, 2,0-3,0 graus pode resultar em uma experiência muito mais confortável). Discutiremos como abordar a seleção de destinos pequenos mais detalhadamente abaixo.
Tamanho ideal do destino a uma distância de 2 metros
Dados de Acompanhamento Ocular Estendido
As APIs de acompanhamento ocular estendido permitem que os desenvolvedores desbloqueiem o próximo nível de cenários inovadores, como avaliação de saúde, monitoramento e terapia, fornecendo informações mais refinadas sobre o olhar do usuário.
As APIs de acompanhamento ocular estendido fornecem acesso a valores de acompanhamento ocular existentes e novos recursos, como vetores de foco ocular individuais (esquerda e direita), taxas de quadros com suporte e a capacidade de definir a taxa de quadros de acompanhamento ocular como 30, 60 ou 90fps. Para usar a API de Acompanhamento Ocular Estendido, consulte nossos guias de desenvolvedor para usar APIs de Acompanhamento Ocular Estendido para nativo ou Unity.
Casos de uso
O acompanhamento ocular permite que os aplicativos acompanhem para que local o usuário está olhando em tempo real. Os casos de uso a seguir descrevem algumas interações possíveis com o acompanhamento ocular em HoloLens 2 na realidade misturada. Esses casos de uso ainda não fazem parte da experiência do Shell Holographic (a interface que você vê ao iniciar o HoloLens 2). Você pode experimentar alguns deles no kit de ferramentas do Realidade Misturada. O Kit de Ferramentas fornece vários exemplos interessantes e poderosos para usar o acompanhamento ocular, como seleções de destino rápidas e sem esforço com suporte ocular e rolagem automática pelo texto com base no que o usuário olha.
Intenção do usuário
As informações sobre onde e o que um usuário examina fornecem um contexto poderoso para outras entradas, como voz, mãos e controladores. Isso pode ser usado para várias tarefas. Por exemplo, o usuário pode direcionar rapidamente e sem esforço para toda a cena olhando para um holograma e dizendo "selecionar" (também ver foco e confirmação) ou "colocar isso..." e, em seguida, olhar para onde ele deseja colocar o holograma e dizer "... lá". Exemplos para esse caso podem ser encontrados em Kit de Ferramentas de Realidade Misturada – Seleção de alvo com suporte ocular e Kit de Ferramentas de Realidade Misturada – Posicionamento de alvo com suporte ocular.
Além disso, um exemplo de intenção do usuário pode incluir o uso de informações sobre o que os usuários analisam para aprimorar o envolvimento com agentes virtuais incorporados e hologramas interativos. Por exemplo, os agentes virtuais podem adaptar as opções disponíveis e seu comportamento, com base no conteúdo exibido no momento.
Ações implícitas
A categoria de ações implícitas está intimamente relacionada à intenção do usuário. A ideia é que os hologramas ou os elementos da interface do usuário reajam de maneira instintivo que pode até não parecer que o usuário está interagindo com o sistema, mas sim que o sistema e o usuário estejam sincronizados. Um exemplo é a rolagem automática baseada em olhar , em que o usuário pode ler um texto longo que começa a rolar automaticamente quando o usuário chega à parte inferior da caixa de texto. Isso mantém o usuário no fluxo de leitura sem levantar um dedo. Um aspecto fundamental disso é que a velocidade de rolagem se adapta à velocidade de leitura do usuário.
Outro exemplo é o zoom e a panorâmica compatíveis com os olhos, em que o usuário pode sentir que está mergulhando exatamente em direção ao que está focado.
Disparar e controlar a velocidade de zoom pode ser controlado pela entrada de voz ou mão, o que é importante para fornecer ao usuário a sensação de controle, evitando ficar sobrecarregado. Falaremos sobre essas considerações de design mais detalhadamente abaixo. Uma vez ampliado, o usuário pode seguir sem problemas, por exemplo, o curso de uma rua para explorar seu bairro usando seu olhar. Exemplos de demonstração para esses tipos de interações podem ser encontrados na amostra do Kit de Ferramentas de Realidade Misturada – Navegação com suporte ocular.
Outros casos de uso para ações implícitas podem incluir:
- Notificações inteligentes: Você já se irritou com notificações aparecendo bem no meio da sua visão? Você pode melhorar essa experiência deslocando as notificações de onde o usuário está observando no momento. Isso limita as distrações e as descarta automaticamente quando o usuário termina de ler.
- Hologramas atentos: Estes são hologramas que reagem de maneira sutil quando são olhados. Isso pode variar de elementos de interface do usuário ligeiramente brilhantes a uma flor lentamente florescendo até um cão virtual começando a olhar para trás para o usuário e balançando sua cauda. Essa interação pode fornecer uma sensação interessante de conectividade e satisfação em seu aplicativo.
Acompanhamento de atenção
As informações sobre onde ou o que os usuários olham podem ser uma ferramenta imensamente poderosa. Ele pode ajudar a avaliar a usabilidade de designs e identificar problemas nos fluxos de trabalho para torná-los mais eficientes. A visualização e a análise de acompanhamento ocular são uma prática comum em várias áreas do aplicativo. Com HoloLens 2, fornecemos uma nova dimensão para esse entendimento; hologramas 3D podem ser colocados em contextos do mundo real e avaliados adequadamente.
O Realidade Misturada Toolkit fornece exemplos básicos para registrar em log e carregar dados de acompanhamento ocular e como visualizá-los.
A Microsoft se dedica a facilitar a inovação, garantindo que os usuários tenham uma experiência informada e transparente com a forma como suas informações de acompanhamento ocular são usadas. Continuaremos trabalhando com nossos desenvolvedores e equipes de experiência do usuário para fornecer diretrizes para terceiros a fim de garantir que as experiências sejam centradas no usuário.
Outros aplicativos nessa área podem incluir:
- Visualização remota de foco com os olhos: Visualize o que os colaboradores remotos estão examinando. Isso pode fornecer comentários imediatos e facilitar o processamento de informações mais preciso.
- Estudos de pesquisa de usuários: O acompanhamento de atenção pode fornecer insights sobre como os usuários percebem e se envolvem com o ambiente natural sem interferir. Isso pode ajudar os desenvolvedores a projetar interações mais instincionais entre humanos e computadores. O acompanhamento ocular pode fornecer informações que não são articuladas diretamente pelos participantes do estudo e podem ser facilmente perdidas pelo pesquisador.
- Treinamento e monitoramento de desempenho: Pratique e otimize a execução de tarefas identificando gargalos com mais eficiência no fluxo de execução. O acompanhamento ocular pode fornecer informações naturais, em tempo real e objetivas para ajudar a melhorar o treinamento, a produtividade e a segurança no local de trabalho.
- Projetar avaliações, marketing e pesquisa de consumidores: O acompanhamento ocular permite que as empresas comerciais realizem estudos de marketing e consumidores em ambientes do mundo real ou analisem o que captura a atenção de um usuário para melhorar o design de produtos ou espaços.
Outros casos de uso
- Jogos: Você já quis ter superpoderes? Esta é a sua chance!
Você pode levitar hologramas olhando para eles.
Atire raios laser de seus olhos- experimente em RoboRaid para HoloLens 2.
Transforme inimigos em pedra ou congele-os.
Use sua visão de raios X para explorar prédios.
O limite é sua imaginação. No entanto, cuidado para não sobrecarregar o usuário. Para saber mais, confira nossas diretrizes de design de entrada baseadas em foco.
Avatares expressivos: O acompanhamento ocular ajuda em avatares 3D mais expressivos usando dados de rastreamento ocular ao vivo para animar os olhos do avatar e fazê-los seguir o que o usuário está olhando.
Entrada de texto: O acompanhamento ocular pode ser usado como uma alternativa para entrada de texto de baixo esforço, especialmente quando a fala ou as mãos são inconvenientes de usar.
Usando o olhar para interação
Criar uma interação que aproveite o direcionamento de olhos em movimento rápido pode ser um desafio. Como os olhos podem se mover rapidamente, se você não tiver cuidado sobre como usar a entrada com foco nos olhos, os usuários poderão achar a experiência avassaladora ou distrativa. Mas isso vale a pena o desafio porque o acompanhamento ocular permite que você crie experiências verdadeiramente mágicas que excitarão seus usuários! Para ajudá-lo, confira nossa visão geral das principais vantagens, desafios e recomendações de design para olhar para interação.
Soluções de fallback quando o rastreamento ocular não está disponível
Em casos raros, os dados de rastreamento ocular podem não estar disponíveis. Isso pode acontecer por vários motivos– os mais comuns estão listados abaixo:
- O sistema falhou ao calibrar o usuário.
- O usuário ignorou a calibragem.
- O usuário está calibrado, mas decidiu não conceder permissão ao seu aplicativo para usar seus dados de rastreamento ocular.
- O usuário tem óculos exclusivos ou alguma condição de olho que o sistema ainda não dá suporte.
- Fatores externos inibem o rastreamento visual confiável, como manchas na viseira ou óculos holoLens, luz solar direta intensa e oclusão por causa do cabelo na frente dos olhos.
Os desenvolvedores devem garantir que haja suporte de fallback apropriado para esses usuários. Na página Acompanhamento ocular no DirectX , explicamos as APIs necessárias para detectar se os dados de rastreamento ocular estão disponíveis.
Alguns usuários podem decidir que maior privacidade é mais importante para eles do que a experiência aprimorada que o rastreamento ocular pode fornecer, de modo que eles revogam intencionalmente o acesso aos seus dados de rastreamento ocular. No entanto, em alguns casos, essa revogação pode não ser intencional. Se seu aplicativo usa acompanhamento ocular e essa é uma parte importante da experiência, recomendamos que você comunique isso claramente ao usuário. Explicar ao usuário como o rastreamento ocular desbloqueia todo o potencial do aplicativo pode ajudá-lo a entender melhor o que ele está desistindo. Se o rastreamento ocular estiver ativado, mas não estiver funcionando, ajude o usuário a identificar e resolver o problema usando a lista de verificação acima como um guia. Por exemplo, se você puder detectar que o sistema dá suporte ao rastreamento ocular e o usuário estiver calibrado e tiver dado sua permissão, ainda que nenhum dado de rastreamento ocular seja recebido, isso poderá apontar para problemas como manchas ou os olhos sendo impedidos.
Há casos raros em que o rastreamento ocular simplesmente não funciona para alguém e não há nenhuma razão óbvia. Respeite isso permitindo que o usuário descarte ou desabilite lembretes para habilitar o rastreamento ocular em seu aplicativo.
Fazer fallback para aplicativos usando o olhar como um ponteiro de entrada primário
Se o aplicativo usa o olhar como uma entrada de ponteiro para selecionar rapidamente hologramas em toda a cena, mas os dados de rastreamento ocular não estão disponíveis, recomendamos voltar ao foco e mostrar o cursor de foco na cabeça. É recomendável usar um tempo limite (por exemplo, 500 a 1500 ms) para determinar se deseja alternar ou não. Essa ação impede que cursores apareçam sempre que o sistema pode perder o controle brevemente devido a movimentos oculares rápidos ou piscadelas e pisca. Se você for um desenvolvedor do Unity, o fallback automático para o foco principal já será tratado no kit de ferramentas do Realidade Misturada. Se você for um desenvolvedor do DirectX, precisará lidar com essa opção por conta própria.
Fazer fallback para outros aplicativos específicos do rastreamento ocular
Seu aplicativo pode usar o foco nos olhos de uma maneira exclusiva que seja adaptada especificamente aos olhos , por exemplo, animando os olhos de um avatar ou os heatmaps de atenção baseados em olhos que dependem de informações precisas sobre a atenção visual. Nesse tipo de caso, não há fallback claro. Se o acompanhamento ocular não estiver disponível, talvez essas funcionalidades precisem ser desabilitadas. Novamente, recomendamos que você comunique isso claramente ao usuário, que talvez não saiba que a funcionalidade não está funcionando.
Espera-se que esta página tenha fornecido uma boa visão geral para que você comece a entender a função de acompanhamento ocular e entrada de olhar para o HoloLens 2. Para começar a desenvolver, confira nossas informações sobre o papel do olhar para interagir com hologramas, olhar para o Unity e olhar para os olhos no DirectX.