Определение направления взгляда и фиксацияEye-gaze and commit

Определение направления взгляда и фиксация — это специальная модель ввода с помощью отслеживания взгляда и фиксации, которая предполагает нацеливание на объект взглядом.Eye-gaze and commit is a special gaze and commit input model case that involves targeting an object by looking at it. Вы можете взаимодействовать с целью с помощью дополнительного ввода — фиксации, например с помощью жеста, голосовой команды или ввода с периферийного устройства (игровой контроллер).You can act on the target with a secondary commit input, such as a hand gesture, voice command, or peripheral input like a game controller.

С HoloLens 2 у нас есть отличная возможность сделать модель ввода Определение взгляда и фиксация быстрее и удобнее, используя направление взгляда вместо направления головы.With HoloLens 2, we have the great opportunity to make gaze and commit faster and more comfortable by using eye-gaze instead of head-gaze. Чтобы расширить распространенную модель взаимодействия с определением направления головы и фиксацией, сделайте следующее:To extend the common head-gaze and commit interaction model:

  1. Посмотрите на цель.Look at a target
  2. Чтобы подтвердить выбор целевого объекта, выполните дополнительный явный ввод, например:To confirm your intention to select the target, use a secondary explicit input such as a:
    • жест руки (например, касание);Hand gesture (for example, an Air Tap)
    • нажатие кнопки (например, на клавиатуре Bluetooth или устройстве Clicker);Button press (for example, on a Bluetooth keyboard or clicker)
    • голосовая команда (например, "Выбрать");Voice command (for example, "Select")
    • задержка (т. е. пользователь просто задерживает взгляд на целевом объекте, который нужно выбрать).Dwelling (that is, the user simply keeps looking at the target to select)

Но в определенных ситуациях направление взгляда функционирует совершенно не так, как направление головы, что приводит к определенным сложностям.However, eye gaze behaves differently to head gaze in certain ways and comes with many unique challenges. В рекомендациях по проектированию взаимодействия на основе направления взгляда собраны общие преимущества и сложности, связанные с использованием отслеживания движения глаз в качестве ввода в голографическом приложении.In the Eye Gaze Design Guidelines, we summarize general advantages and challenges when using eye tracking as an input in your holographic app. В этом разделе рассматриваются вопросы разработки для модели Определение направления взгляда и фиксация.In this section, we focus on the specific design considerations for eye-gaze and commit. Наши глаза двигаются невероятно быстро и, следовательно, могут моментально нацеливаться в представлении.First, our eyes move incredibly fast and are great at quickly targeting across the view. Отслеживание глаз идеально подходит для быстрых действий на основе определения направления взгляда и фиксации, особенно в сочетании с быстрыми фиксациями, например касанием или нажатием кнопки.Eye-gaze is ideal for quick gaze-and-commit actions especially when combined with fast commits such as an air tap or button press.

Рекомендации по проектированию для модели с определением направления взгляда и фиксациейDesign guidelines for eye-gaze and commit

Отключите курсор. Хотя в модели с направлением головы почти невозможно взаимодействовать без курсора, курсор начинает быстро отвлекать и раздражать при использовании направления взгляда.Don't show a cursor: While it's nearly impossible to interact without a cursor when using head gaze, the cursor becomes quickly distracting and annoying when using eye gaze. Вместо использования курсора для того, чтобы дать пользователю понять, работает ли отслеживание глаз и правильно ли определяется цель, на которую он смотрит в этот момент, применяйте легкое визуальное выделение.Instead of relying on a cursor to inform the user whether eye tracking is working and has correctly detected the currently looked at target, use subtle visual highlights.

Стремитесь к легкому выделению при наведении для обратной связи. То, что кажется отличной визуальной обратной связью для направления головы, может привести к ужасному, удручающему взаимодействию при использовании направления взгляда.Strive for subtle blended hover feedback: What seems great visual feedback for head gaze can result in terrible, overwhelming experiences using eye gaze. Помните, что глаза двигаются невероятно быстро. Они мгновенно перемещаются от точки к точке в поле вашего зрения.Remember, your eyes are enormously fast, quickly darting across points in your field-of-view. Быстрые внезапные изменения выделения (включено/выключено) могут привести к мерцанию результатов выделения, когда осматриваешься.Quick sudden highlight changes (on/off) may result in flickery feedback when looking around. Таким образом для обратной связи при наведении мы рекомендуем использовать плавное выделение (и легкое исчезание выделения при отводе взгляда).So, when providing hover feedback, we recommend using a smoothly blended-in highlight (and blended-out when looking away). Это означает, что сначала вы едва заметите обратную связь при взгляде на цель.This means at first you would barely notice the feedback when looking at a target. В течение 500–1000 мс интенсивность выделения увеличится.Over the course of 500-1000 ms the highlight would increase in intensity. Хотя начинающие пользователи могут задержать взгляд на цели, чтобы убедиться, что система правильно определила удержанную в поле зрения цель, опытные пользователи могут быстро бросить взгляд и выполнить фиксацию, не дожидаясь, пока обратная связь достигнет полной интенсивности.While novice users could keep looking at the target to ensure the system has correctly determined the focused target, expert users could quickly gaze-and-commit without waiting until the feedback is at its full intensity. Мы также рекомендуем использовать плавное исчезание выделения при постепенном исчезании обратной связи наведения.We also recommend using a blend-out when fading out the hover feedback. Исследования показали, что быстрые изменения в движении и контрастности очень заметны для периферийного зрения (визуальной области, куда вы не смотрите).Research has shown that quick motions and contrast changes are noticeable in your peripheral vision (the area of your visual field where you aren't looking). Исчезание не должно быть таким же медленным, как выделение.The fade-out doesn't have to be as slow as the blend-in. Это важно только при наличии высокой контрастности или изменений цвета в вашем выделении.This is only critical when you have high contrast or color changes for your highlight. Если обратная связь при наведении была изначально довольно слабой, вы, скорее всего, не заметите разницу.If the hover feedback was subtle to begin with, you probably won't notice a difference.

Следите за синхронизацией взгляда и сигналов фиксации. Синхронизация входных сигналов — не такая уж и сложная задача для простой модели с касаниями и нажатиями кнопок.Look out for synchronizing gaze and commit signals: The synchronization of input signals may be less of a challenge for simple air taps and button presses. На это следует обратить внимание в случае, если вы хотите использовать более сложные действия фиксации, которые могут включать в себя длинные голосовые команды или сложные жесты руками.It's something to look out for in case you want to use more complicated commit actions that may involve long voice commands or complicated hand gestures. Представьте, что вы смотрите на цель и произносите длинную голосовую команду.Imagine you look at a target and utter a long voice command. Учитывая время, необходимое для произнесения, и время, необходимое системе для определения сказанного, за это время направление вашего взгляда переместится на другую цель в сцене.Think about the time you need to say it and the time that the system needed to detect what you said, your eye gaze has long moved on to some new target in the scene. Либо сообщите пользователям, что им, возможно, нужно будет задержать взгляд на цели, пока команда не будет распознана, либо обрабатывайте входные данные так, чтобы определить начало команды и цель, на которую тогда смотрел пользователь.Either make your users aware they may need to keep looking at a target until the command has been recognized or handle the input in a way to determine the onset of the command and what the user had been looking at back then.

См. также статьюSee also