視線入力とドウェルGaze and dwell

多くのことを確認するさまざまな方法がある、_コミット_視線の先との組み合わせなど_音声_または_ジェスチャを渡す_します。There are lots of different ways to confirm a commit such as combining gaze with voice or hand gestures. あるいくつかのユーザー シナリオ、ユーザーの手がビジー状態か場合がありますまたは追跡することはできません (サイズの大きい頑丈 gloves でファクトリ ワーカーなど)。There are several user scenarios though, in which users' hands may either be busy or cannot be tracked (e.g., factory workers with oversized heavy duty gloves). 音声入力できない場合がありますもユーザーの設定、ソーシャル コンテキストや騒々しい環境が原因です。Voice input may also not be available due to user preferences, social context or loud environments. フォールバック ソリューションとして実行する別オプション、_コミット_見つめてと呼ばれる UI 要素を保持することだけが_について詳しく説明しません_します。As a fallback solution another option to perform a commit is simply to keep staring at a UI element which we refer to as dwell. A_熟考_ヘッドまたは目視線の先に実行できます。A dwell can be performed with either head or eye gaze. 考え方は単純で、次のフェーズに分けることができます。The idea is simple and can be broken down in the following phases:

  1. ユーザーが開始 gazing holographic ボタンUser starts gazing at a holographic button

  2. 簡単な発症遅延 (たとえば、150 ミリ秒) 後にいくつかの視覚的なフィードバック アニメーションが開始されます。After a brief onset delay (e.g., 150 ms) some visual feedback animation is started. 開始されたときの遅延を使用して、すべての時間をフィードバックをすぐにポップアップで、ユーザーの混乱を回避します。The onset delay is used to avoid overwhelming the user by immediately popping up feedback all the time.

    • _目注視_ビジュアルのデザインは、次は、フィードバックを下げなければお勧めします。For eye gaze, we recommend the following for the design of the visual dwell feedback:
      • これを blend:最初に完全に不透明で表示からのフィードバックでスムーズにブレンドします。Blend it: Smoothly blend in the feedback from barely visible at first to fully opaque. これによりより少ないシステムと overwhleming フィードバックは、システムでは、ユーザーが、このボタンと連絡を取るが本当に自信適切に揃えられます。This makes the feedback less distracting and overwhleming and nicely aligns with the confidence that the system has that the user really wants to engage with this button.
      • プルすること:サイズが低下し、ユーザーの visual 注意でプル、ターゲットの中心を目指して開発よりも、視覚的フィードバックを作成します。Pull it in: Create a visual feedback than decreases in size and moves towards the center of the target, pulling in the user's visual attention.
  3. 事前に定義されたドウェル期間 (例: 800 ms) の後、ドウェルを完了し、に関連するイベントがトリガーされます。After a pre-defined dwell duration (e.g., 800 ms), the dwell completes and an associated event is triggered.

    • 音声ファイナライズによって提供または視覚的なフィードバックを実際にホームを項目が選択されているようになりました。Provide some finalizing auditory or visual feedback to really bring home that the item got selected now.


視線の先を対象とします。Gaze targeting

すべての対話は、ユーザーの入力モードに関係なく、対話する要素を対象とする機能に基づいて構築します。All interactions are built upon the ability of a user to target the element they want to interact with, regardless of the input modality. Windows Mixed Reality でこれは、一般に、ユーザーの視線の先を使用します。In Windows Mixed Reality, this is generally done using the user's gaze.

エクスペリエンスを正常に使用するユーザーを有効にするには、ユーザーの目的、およびユーザーの実際のインテントのシステムの計算については、できる限り忠実に従う必要があります。To enable a user to work with an experience successfully, the system's calculated understanding of a user's intent, and the user's actual intent, must align as closely as possible. 程度にシステムがユーザーの意図した操作を解釈する正しく、満足度が増えるとパフォーマンスが向上します。To the degree that the system interprets the user's intended actions correctly, satisfaction increases and performance improves.

デバイスのサポートDevice support

機能Feature HoloLens (第 1 世代)HoloLens (1st gen) HoloLens 2HoloLens 2 イマーシブ ヘッドセットImmersive headsets
視線の先を対象とします。Gaze targeting ✔️✔️ ✔️✔️ ✔️✔️
監視対象とします。Eye targeting ✔️✔️


HoloLens 2 に固有のガイダンスについて近日します。More guidance specific to HoloLens 2 coming soon.

ターゲットのサイズ変更とフィードバックTarget sizing and feedback

視線入力ベクトルは正しく対象とするために使用するのには繰り返し示されていますが、gross ターゲット (取得若干大きくターゲット) に最も適した多くの場合。The gaze vector has been shown repeatedly to be usable for fine targeting, but often works best for gross targeting (acquiring somewhat larger targets). 1.5 に 1 度の最小のターゲットのサイズは、3 度のターゲットが多くの場合より高速化を使用する場合、ほとんどのシナリオで成功したユーザーの操作を許可する必要があります。Minimum target sizes of 1 to 1.5 degrees should allow successful user actions in most scenarios, though targets of 3 degrees often allow for greater speed. 注いる対象ユーザーは 3D 要素の場合でも 2D 領域では効果的にサイズどのプロジェクションが直面する、ターゲット設定可能な領域があります。Note that the size that the user targets is effectively a 2D area even for 3D elements--whichever projection is facing them should be the targetable area. 要素が「アクティブ」(こと、ユーザーが対象にすること) があるいくつかの注目すべきキューが非常に役立つ - これを含めることができますを提供する処理などの表示「ホバー」効果やオーディオのハイライト、 をクリックまたは要素を使用してカーソルの配置をオフにします。Providing some salient cue that an element is "active" (that the user is targeting it) is extremely helpful - this can include treatments like visible "hover" effects, audio highlights or clicks, or clear alignment of a cursor with an element.

2 つのメーター距離にある最適なターゲット サイズOptimal target size at 2 meter distance
2 つのメーター距離にある最適なターゲット サイズOptimal target size at 2 meter distance

視線の先の対象となるオブジェクトを強調表示の例An example of highlighting a gaze targeted object
視線の先の対象となるオブジェクトを強調表示の例An example of highlighting a gaze targeted object

ターゲットの配置Target placement

ユーザーは、多くの場合、(通常は約監視レベル) にフォーカスがメインの周囲の領域で、注意のほとんどに重点を置いて、視野で非常に高または非常に低配置されている UI 要素を検索する失敗します。Users will often fail to find UI elements that are positioned very high or very low in their field of view, focusing most of their attention on areas around their main focus (usually roughly eye level). 目のレベルによって適切なバンドでほとんどのターゲットを配置することができます。Placing most targets in some reasonable band around eye level can help. ユーザーの傾向を与え、比較的小さな視覚的な領域 (ビジョンの attentional コーンは 10 度では約) いつでも、概念的に関連している度合いをまとめて UI 要素をグループに重点を活用できますから注意順行連鎖の動作項目のユーザーとして領域を通じて、視線の先に移動します。Given the tendency for users to focus on a relatively small visual area at any time (the attentional cone of vision is roughly 10 degrees), grouping UI elements together to the degree that they're related conceptually can leverage attention-chaining behaviors from item to item as a user moves their gaze through an area. UI を設計するときは、HoloLens、イマーシブ ヘッドセットとビューのフィールドに潜在的な大規模なバリエーションに注意してください。When designing UI, keep in mind the potential large variation in field of view between HoloLens and immersive headsets.

Galaxy エクスプ ローラーで対象とする簡単視線の先のグループ化された UI 要素の例An example of grouped UI elements for easier gaze targeting in Galaxy Explorer
Galaxy エクスプ ローラーで対象とする簡単視線の先のグループ化された UI 要素の例An example of grouped UI elements for easier gaze targeting in Galaxy Explorer

ターゲットの動作の向上Improving targeting behaviors

何かを対象とするユーザーの意図を確認 (または密接に近似)、「ニアミス」が正しくを対象としていた場合と同様の対話に試行を受け入れるように非常に便利ですができます。If user intent to target something can be determined (or approximated closely), it can be very helpful to accept "near miss" attempts at interaction as though they were targeted correctly. 複合現実エクスペリエンスに組み込むことが成功したメソッドのいくつかあります。There are a handful of successful methods that can be incorporated in mixed reality experiences:

視線入力安定化 ("重力 wells")Gaze stabilization ("gravity wells")

これが有効にする時間のほとんどまたはすべて。This should be turned on most/all of the time. この手法は、自然な head/ネック ジッター可能性のあるユーザーを削除します。This technique removes the natural head/neck jitters that users may have. 検索読み上げの動作が原因も移動します。Also movement due to looking/speaking behaviors.

これらは、スパースの対話型コンテンツ領域に最適な機能します。These work best in areas with sparse interactive content. 対話する試行がユーザーを決定することができます可能性が高い場合は、単に一定レベルのインテントを想定して、ターゲットの能力を補うことができます。If there is a high probability that you can determine what a user was attempting to interact with, you can supplement their targeting abilities by simply assuming some level of intent.

Backdating 遅延アクションBackdating/postdating actions

このメカニズムは、速度が必要なタスクに役立ちます。This mechanism is useful in tasks requiring speed. ユーザーは、一連の対象とする、アクティブ化の最適経路の速度で移動が、いくつかの目的を想定し、許可すると便利できます手順が実行されなかったユーザーがいたフォーカスで若干の前後に若干タップ (ターゲットに対して操作を実行するには50 ミリ秒の前に、/後が初期テストで有効になります)。When a user is moving through a series of targeting/activation maneuvers at speed, it can be useful to assume some intent and allow missed steps to act upon targets which the user had in focus slightly before or slightly after the tap (50ms before/after was effective in early testing).


このメカニズムは、パスの移動、ヘッドの移動を自然な特性のため若干のジッター/補助の削減に役立ちます。This mechanism is useful for pathing movements, reducing the slight jitter/wobble due to natural head movement characteristics. パスのモーション、時間の経過と共にではなく、動きの距離のサイズでスムーズに円滑化するときWhen smoothing over pathing motions, smooth by size/distance of movements rather than over time


このメカニズムはターゲットに向かって、カーソルを描画するか、単に (視覚的またはない) かどうかに hitboxes を増やす「リンクでは最も近い」アルゴリズムの一般的なバージョンとして考えることができます可能性の高い目標を実現するユーザーに、使用する対話型のレイアウトの知識優れたアプローチ ユーザーのものです。This mechanism can be thought of as a more general version of "Closest link" algorithms - drawing a cursor toward a target, or simply increasing hitboxes (whether visibly or not) as users approach likely targets, using some knowledge of the interactive layout to better approach user intent. これは、小規模のターゲットの非常に強力なことができます。This can be particularly powerful for small targets.

フォーカスの持続性Focus stickiness

フォーカスを移す対話型の要素の近くに判断する、現在フォーカスが要素に、バイアスを提供します。When determining which nearby interactive elements to give focus to, provide a bias to the element that is currently focused. これは自然なノイズを含む 2 つの要素間の中間に浮動小数点の動作の切り替えが不規則のフォーカスの削減に役立ちます。This will help reduce erratic focus switching behaviours when floating at a midpoint between two elements with natural noise.

関連項目See also