Interação baseada em olhares nos HoloLens 2

Funcionalidade HoloLens (1ª geração) HoloLens 2 Auscultadores imersivos
Olhar-olho ✔️

Demo de design de rastreio de cabeça e olhos

Se você gostaria de ver conceitos de design head and eye tracking em ação, confira nosso design de design Hologramas - Head Tracking e eye tracking video demo abaixo. Quando terminar, continue para um mergulho mais detalhado em tópicos específicos.

Este vídeo foi tirado da aplicação "Designing Hologramas" HoloLens 2. Faça o download e desfrute de toda a experiência aqui.

Diretrizes de design de entrada de olhar de olho

Construir uma interação que tire partido de um alvo rápido dos olhos pode ser um desafio. Nesta secção, resumimos as principais vantagens e desafios a ter em conta ao conceber a sua aplicação.

Benefícios da entrada do olhar nos olhos

  • Alta velocidade apontando. O músculo ocular é o músculo reagindo mais rápido no corpo humano.

  • Baixo esforço. Quase não são necessários movimentos físicos.

  • A implícita. Muitas vezes descrita pelos utilizadores como "leitura mental", informações sobre os movimentos oculares de um utilizador permitem ao sistema saber qual o alvo que o utilizador pretende envolver.

  • Canal de entrada alternativo. O olhar-de-olho pode fornecer uma poderosa entrada de suporte para a entrada de mãos e voz com base em anos de experiência dos utilizadores com base na sua coordenação mão-olho.

  • Atenção visual. Outro benefício importante é a possibilidade de inferir aquilo a que um utilizador está a prestar atenção. Isto pode ajudar em várias áreas de aplicação que vão desde a avaliação mais eficaz de diferentes desenhos até ajudar em interfaces de utilizador mais inteligentes e pistas sociais melhoradas para a comunicação remota.

Em resumo, usar o olhar como entrada oferece um sinal de entrada contextual rápido e sem esforço. Isto é poderoso quando combinado com outras entradas, tais como voz e entrada manual para confirmar a intenção do utilizador.

Desafios do olhar como entrada

Embora o olhar possa ser usado para criar experiências satisfatórias de utilizador, que o fazem sentir-se como um super-herói, também é importante saber o que não é bom para explicar adequadamente isto. A seguinte lista discute alguns desafios a considerar e como abordá-los ao trabalhar com a entrada de olhares oculares:

  • O teu olhar está "sempre ligado" No momento em que abres as pálpebras, os teus olhos começam a fixar-se nas coisas no ambiente. Reagir a cada olhar que faz e acidentalmente emitir ações, porque olhou para algo por muito tempo, resultaria numa experiência insatisfatória. Recomendamos combinar olhares com um comando de voz,gesto de mão,clique de botão ou habitação estendida para desencadear a seleção de um alvo (para mais informações, ver olhar e comprometer). Esta solução também permite um modo em que o utilizador pode olhar livremente em volta sem ser esmagado por desencadear involuntariamente algo. Esta questão também deve ser considerada ao conceber feedback visual e auditivo quando se olha para um alvo. Tente não sobrecarregar o utilizador com efeitos pop-out imediatos ou sons de hover. A subtileza é a chave. Discutiremos algumas boas práticas para isso mais abaixo quando falarmos de recomendações de design.

  • Observação vs. controlo Imagine que você quer precisamente endireitar uma fotografia na sua parede. Olhamos para as suas fronteiras e arredores para ver se está bem alinhada. Agora imagina como farias isso quando queres usar o teu olhar como uma entrada para mover a imagem. Difícil, não é? Isto descreve o duplo papel do olhar quando é necessário tanto para a entrada como para o controlo.

  • Saia antes de clicar: Para seleções de alvos rápidos, a pesquisa mostrou que o olhar de um utilizador pode seguir em frente antes de concluir um clique manual (por exemplo, uma torneira de ar). Preste especial atenção à sincronização do sinal de olhar rápido com entrada de controlo mais lenta (por exemplo, voz, mãos, controlador).

  • Alvos pequenos: Conhece a sensação quando tenta ler textos que são um pouco pequenos demais para ler confortavelmente? Esta sensação de tensão nos seus olhos pode fazer com que se sinta cansado e desgastado, porque tenta reajustar os olhos para se concentrar melhor. Este é um sentimento que pode invocar nos seus utilizadores ao forçá-los a selecionar alvos que são demasiado pequenos na sua aplicação usando o alvo ocular. Para o seu design, para criar uma experiência agradável e confortável para os seus utilizadores, recomendamos que os alvos sejam pelo menos 2° em ângulo visual, de preferência maior.

  • Movimentos esfarrapados de olhares oculares Nossos olhos realizam movimentos rápidos da fixação à fixação. Se olharmos para os caminhos dos movimentos oculares gravados, podemos ver que parecem irregulares. Os seus olhos movem-se rapidamente e em saltos espontâneos em comparação com movimentos de olhar de cabeça ou de mão.

  • Fiabilidade do rastreio: A precisão do rastreio dos olhos pode degradar-se um pouco na mudança de luz à medida que os seus olhos se ajustam às novas condições. Embora isso não deva necessariamente afetar o design da sua aplicação, uma vez que a precisão deve estar dentro da limitação de 2°, pode ser necessário que o utilizador volte a calibrar.

Recomendações de design

Segue-se uma lista de recomendações específicas de conceção baseadas nas vantagens e desafios descritos para a entrada de olhos:

  1. Olhar de olhos não é o mesmo que olhar de cabeça:

    • Considere se os movimentos rápidos mas irregulares dos olhos se adequam à sua tarefa de entrada: Embora os nossos movimentos rápidos e irregulares dos olhos sejam ótimos para selecionar rapidamente alvos em todo o nosso campo de visão, é menos aplicável para tarefas que requerem trajetórias de entrada suaves (por exemplo, desenho ou anotações circundantes). Neste caso, deve ser preferível apontar a mão ou a cabeça.

    • Evite ligar algo diretamente ao olhar do utilizador (por exemplo, um deslizador ou cursor). Com cursores, isto pode resultar num efeito "cursor em fuga" devido a ligeiras compensações no sinal de olhar projetado. Com um slider, pode entrar em conflito com o duplo papel de controlar o slider com os olhos, ao mesmo tempo que pretende verificar se o objeto está no local correto. Para o exemplo do slider, faz mais sentido usar o olhar em combinação com gestos de mão. Isto significa que o utilizador pode alternar rápida e sem esforço entre muitos sliders, levantando a mão e beliscando o polegar e o dedo indicador para agarrar e mover. Quando a picada é libertada, o deslizador para de se mover. Os utilizadores podem ficar sobrecarregados e distraídos, especialmente se o sinal for impreciso para esse utilizador.

  2. Combine olhares com outras entradas: A integração do rastreio ocular com outras entradas, tais como gestos com as mãos, comandos de voz ou pressão sonora, proporciona várias vantagens:

    • Permitir uma observação gratuita: Dado que o papel principal dos nossos olhos é observar o nosso ambiente, é importante que os utilizadores possam olhar em volta sem desencadear qualquer feedback ou ações (visuais, auditivas e assim por diante). Combinar rastreio de olhos com outro controlo de entrada permite uma transição suave entre a observação do rastreio ocular e os modos de controlo de entrada.

    • Poderoso provedor de contexto: A utilização de informações sobre onde e o que o utilizador está a ver enquanto diz um comando de voz ou usa um gesto de mão permite canalizar perfeitamente a entrada através do campo de visão. Por exemplo: Diga "coloque isso lá" para selecionar e posicionar um holograma de forma rápida e fluente em toda a cena, olhando para um alvo e o seu destino pretendido.

    • Necessidade de sincronizar entradas multimodal: Combinar movimentos rápidos dos olhos com entradas mais complexas, tais como comandos de voz longos ou gestos com as mãos, suporta o risco de o utilizador já continuar a olhar em volta antes de o comando de entrada extra ser terminado e reconhecido. Se criar os seus próprios controlos de entrada (por exemplo, gestos personalizados das mãos), certifique-se de registar o início desta entrada ou duração aproximada para correlacioná-la com o que um utilizador tinha olhado no passado.

  3. Feedback subtil para a entrada de rastreio de olhos: É útil fornecer feedback quando um alvo é olhado para indicar que o sistema está funcionando como pretendido, mas deve ser mantido subtil. Isto pode incluir a mistura lenta dentro e fora, destaques visuais, ou fazer outros comportamentos subtis de alvo, tais como câmaras lentas, tais como aumentar ligeiramente o tamanho do alvo. Isto indica que o sistema detetou corretamente que o utilizador está a olhar para um alvo sem interromper desnecessariamente o fluxo de trabalho atual do utilizador.

  4. Evite impor movimentos oculares não naturais como entrada: Não obrigue os utilizadores a usar movimentos oculares específicos (gestos de olhar) para desencadear ações na sua aplicação.

  5. Contabilização das imprecisões: Distinguimos dois tipos de imprecisões, que são percetíveis para os utilizadores: offset e nervosismo. A forma mais fácil de resolver uma compensação é fornecer alvos suficientemente grandes para interagir. Sugere-se que use um ângulo visual superior a 2° como referência. Por exemplo, a sua miniatura está cerca de 2° em ângulo visual quando estendia o braço. Isto leva à seguinte orientação:

    • Não obrigue os utilizadores a selecionar alvos minúsculos. A pesquisa mostrou que se os alvos são suficientemente grandes e o sistema é projetado bem, os utilizadores descrevem as suas interações como sem esforço, e mágicas. Se os alvos se tornarem demasiado pequenos, os utilizadores descrevem a experiência como fatigante e frustrante.

Esta página forneceu-lhe uma boa visão geral para começar a entender o olhar como uma entrada na realidade mista. Para começar a desenvolver-se, consulte as nossas informações sobre o olhar atento em Unidade e o olhar atento em DirectX.

Ver também

Demonstração de rastreio de olhos em MRTK

Uma das nossas novas capacidades excitantes no HoloLens 2 é rastrear os olhos. No nosso rastreio de olhos na página HoloLens 2, mencionamos a necessidade de cada utilizador passar por uma Calibração,fornecendo alguma orientação do desenvolvedor, e casos de utilização realçados para rastreio de olhos. A entrada de olhares para os olhos ainda é um novo tipo de entrada do utilizador e há muito a aprender.

Embora a entrada de olhares oculares seja usada apenas subtilmente na nossa experiência Holographic Shell (a interface de utilizador que vê quando inicia o seu HoloLens 2), várias aplicações, como o "HoloLens Playground",mostram grandes exemplos sobre como a entrada de olhares oculares pode adicionar à magia da sua experiência holográfica. Nesta página, discutimos considerações de design para integrar a entrada de olhares oculares para interagir com as suas aplicações holográficas.

Você vai aprender sobre as principais vantagens e também desafios únicos que vêm com a entrada de olhares para os olhos. Com base nestes, fornecemos várias recomendações de design para ajudá-lo a criar interfaces de utilizador satisfatórias com vista para os olhos.

Suporte de dispositivos