熟考Gaze and dwell

_音声_や_ハンドジェスチャ_との組み合わせなどの_コミット_を確認するには、さまざまな方法があります。There are lots of different ways to confirm a commit such as combining gaze with voice or hand gestures. ただし、ユーザーの手が混み合っている場合や、ユーザーが追跡できない場合 (たとえば、大規模な関税グローブを使用しているファクトリワーカー) には、いくつかのユーザーシナリオがあります。There are several user scenarios though, in which users' hands may either be busy or cannot be tracked (e.g., factory workers with oversized heavy duty gloves). ユーザー設定、ソーシャルコンテキスト、または大きな環境が原因で、音声入力を使用できない場合もあります。Voice input may also not be available due to user preferences, social context or loud environments. フォールバックソリューションとして、_コミット_を実行するもう1つのオプションは、_熟考_と呼ばれる UI 要素を使用したままにすることです。As a fallback solution another option to perform a commit is simply to keep staring at a UI element which we refer to as dwell. _熟考_は、ヘッドまたは視線で実行できます。A dwell can be performed with either head or eye gaze. 考え方は単純で、次のフェーズで分類できます。The idea is simple and can be broken down in the following phases:

  1. Holographic ボタンでユーザーが起動を開始するUser starts gazing at a holographic button

  2. 短い待機時間 (150 ミリ秒など) の後に、一部のビジュアルフィードバックアニメーションが開始されます。After a brief onset delay (e.g., 150 ms) some visual feedback animation is started. 遅延時間は、即座にフィードバックをすぐにポップアップすることによってユーザーの過負荷を避けるために使用されます。The onset delay is used to avoid overwhelming the user by immediately popping up feedback all the time.

    • _目を見つめ_た場合は、次のことをお勧めします。これは、visual 熟考のフィードバックの設計に関するものです。For eye gaze, we recommend the following for the design of the visual dwell feedback:
      • Blend:最初から見えないものから完全に不透明なフィードバックをスムーズに blend します。Blend it: Smoothly blend in the feedback from barely visible at first to fully opaque. これにより、ユーザーが本当にこのボタンを使用していることがシステムによって overwhleming されるという安心感が得られます。This makes the feedback less distracting and overwhleming and nicely aligns with the confidence that the system has that the user really wants to engage with this button.
      • プルする:視覚的なフィードバックは、サイズを小さくしてターゲットの中心に向かって移動し、ユーザーの視覚的な注意を引くことで作成します。Pull it in: Create a visual feedback than decreases in size and moves towards the center of the target, pulling in the user's visual attention.
  3. 定義済みの熟考 duration (たとえば、800ミリ秒) が経過すると、熟考が完了し、関連付けられたイベントがトリガーされます。After a pre-defined dwell duration (e.g., 800 ms), the dwell completes and an associated event is triggered.

    • 現在、項目が選択されていることを実際にホームにするために、最終聴覚や視覚的なフィードバックを提供しています。Provide some finalizing auditory or visual feedback to really bring home that the item got selected now.

熟考の状態

ターゲットを見つめますGaze targeting

すべての操作は、入力モードに関係なく、ユーザーが操作したい要素をターゲットに設定できることに基づいて成り立っています。All interactions are built upon the ability of a user to target the element they want to interact with, regardless of the input modality. Windows Mixed Reality では、これは、通常はユーザーの視線入力を使用して行われます。In Windows Mixed Reality, this is generally done using the user's gaze.

ユーザーがエクスペリエンスを正常に使用できるようにするには、ユーザーの意図に対する計算されたシステムの理解と、ユーザーの実際の意図に、できる限り忠実に従う必要があります。To enable a user to work with an experience successfully, the system's calculated understanding of a user's intent, and the user's actual intent, must align as closely as possible. システムがユーザーの意図したアクションを正しく解釈するレベルまで、満足度が高くなりパフォーマンスが向上します。To the degree that the system interprets the user's intended actions correctly, satisfaction increases and performance improves.

デバイスのサポートDevice support

機能Feature HoloLens (第 1 世代)HoloLens (1st gen) HoloLens 2HoloLens 2 イマーシブ ヘッドセットImmersive headsets
ターゲットを見つめますGaze targeting ✔️✔️ ✔️✔️ ✔️✔️
視点をターゲットにするEye targeting ✔️✔️

注意

HoloLens 2 に固有のその他のガイダンスは近日対応予定です。More guidance specific to HoloLens 2 coming soon.

ターゲットのサイズ設定とフィードバックTarget sizing and feedback

視線入力ベクトルは、細かいターゲット設定はできなくても大まかなターゲット設定 (若干大きめのターゲットの取得) には最適であることは、繰り返し示されています。The gaze vector has been shown repeatedly to be usable for fine targeting, but often works best for gross targeting (acquiring somewhat larger targets). ターゲットのサイズが最小 1 ~ 1.5 度では、ほとんどのシナリオでユーザーのアクションが成功するはずですが、3 度のターゲットでは、多くの場合、速度がより速いことが考慮されます。Minimum target sizes of 1 to 1.5 degrees should allow successful user actions in most scenarios, though targets of 3 degrees often allow for greater speed. ユーザーがターゲットに設定するサイズは、3D 要素であっても実質的に 2D 領域であり、それが面しているどの投影もターゲット設定可能な領域になるはずです。Note that the size that the user targets is effectively a 2D area even for 3D elements--whichever projection is facing them should be the targetable area. 要素が "アクティブ" である (ユーザーがそれをターゲットにしている) という目立った合図を示すことは非常に役に立ちます。これには、目に見える "ホバー" 効果、音声のハイライトやクリック、要素へのカーソルの明確な配置などの処理が含まれます。Providing some salient cue that an element is "active" (that the user is targeting it) is extremely helpful - this can include treatments like visible "hover" effects, audio highlights or clicks, or clear alignment of a cursor with an element.

2 m の距離での最適なターゲット サイズOptimal target size at 2 meter distance
2 m の距離での最適なターゲット サイズOptimal target size at 2 meter distance

視線入力のターゲットとなるオブジェクトの強調表示の例An example of highlighting a gaze targeted object
視線入力のターゲットとなるオブジェクトの強調表示の例An example of highlighting a gaze targeted object

ターゲットの配置Target placement

ユーザーは、自分の視野内の非常に高い位置や非常に低い位置にある UI 要素を見つけられないことが多く、ユーザーの意識は主に焦点が合っている部分 (通常はほぼ目の高さ) に集中しています。Users will often fail to find UI elements that are positioned very high or very low in their field of view, focusing most of their attention on areas around their main focus (usually roughly eye level). ほとんどのターゲットは目の高さあたりの適正な帯域に配置すると効果的です。Placing most targets in some reasonable band around eye level can help. ユーザーは常に比較的小さい視覚野に焦点を合わせる傾向があることを考慮すると (注意の視円錐は約 10 度)、UI 要素を概念的に関連性のある度数にグループ化すれば、ユーザーが視線入力で領域内を移動する場合に、項目から項目への注意の連鎖動作を活用できます。Given the tendency for users to focus on a relatively small visual area at any time (the attentional cone of vision is roughly 10 degrees), grouping UI elements together to the degree that they're related conceptually can leverage attention-chaining behaviors from item to item as a user moves their gaze through an area. UI を設計する際は、HoloLens とイマーシブ ヘッドセットでは視野内に潜在的な大きなバリエーションがあることに注意してください。When designing UI, keep in mind the potential large variation in field of view between HoloLens and immersive headsets.

Galaxy Explorer で視線入力のターゲット設定を容易にするためにグループ化された UI 要素の例An example of grouped UI elements for easier gaze targeting in Galaxy Explorer
Galaxy Explorer で視線入力のターゲット設定を容易にするためにグループ化された UI 要素の例An example of grouped UI elements for easier gaze targeting in Galaxy Explorer

ターゲット設定動作の向上Improving targeting behaviors

何かをターゲットにするというユーザーの意図を判断できる場合は (または、ほぼ間違いないと思われる場合は)、正しくターゲットに設定されているかのように、操作で "ニアミス" の試行を受け入れると非常に便利な場合があります。If user intent to target something can be determined (or approximated closely), it can be very helpful to accept "near miss" attempts at interaction as though they were targeted correctly. Mixed Reality エクスペリエンスに組み込むことができる、成功する方法がいくつかあります。There are a handful of successful methods that can be incorporated in mixed reality experiences:

宝石安定化 ("重心")Gaze stabilization ("gravity wells")

これは、ほとんど、または常にオンにしておくべきです。This should be turned on most/all of the time. この手法は、ユーザーに起こることのある頭や首の自然な小刻みな揺れを取り除きます。This technique removes the natural head/neck jitters that users may have. また、見たり話したりする動作による動きも取り除きます。Also movement due to looking/speaking behaviors.

これらは対話型コンテンツが少ない領域で最大の効果を発揮します。These work best in areas with sparse interactive content. ユーザーが何を操作しようとしていたのかを判断できる可能性が高い場合は、ある程度の意図を想定するだけで、ターゲット設定機能を補完できます。If there is a high probability that you can determine what a user was attempting to interact with, you can supplement their targeting abilities by simply assuming some level of intent.

アクションをさかのぼって有効にする/後で有効にするBackdating/postdating actions

このメカニズムは、速度が必要なタスクに役立ちます。This mechanism is useful in tasks requiring speed. ユーザーが一連のターゲット/アクティブ化の処理を高速化する際には、何らかのインテントを想定し、ユーザーが tap の直前または少しの間にフォーカスを移動していたターゲットに対して (50 ミリ秒前/後に)操作を実行できないようにすることができます。初期テストで効果的です)。When a user is moving through a series of targeting/activation maneuvers at speed, it can be useful to assume some intent and allow missed steps to act upon targets which the user had in focus slightly before or slightly after the tap (50ms before/after was effective in early testing).

スムージングSmoothing

このメカニズムはパス設定の動きで役に立ち、自然な頭の動きの特性によるわずかな小刻みな揺れやぐらつきを減らします。This mechanism is useful for pathing movements, reducing the slight jitter/wobble due to natural head movement characteristics. パス設定の動きをスムーズにするときは、時間の経過と共にではなく、動きのサイズ/距離によってスムーズにしてください。When smoothing over pathing motions, smooth by size/distance of movements rather than over time

磁性Magnetism

このメカニズムは、"最も近いリンク" アルゴリズムのより一般的なバージョンと考えることができます。つまり、ユーザーの意図に近づくために対話型レイアウトに関する知識を活用して、ユーザーがターゲットに近づくにつれてターゲットに向かってカーソルを描画したり、単にヒットボックスを増やしたりします。This mechanism can be thought of as a more general version of "Closest link" algorithms - drawing a cursor toward a target, or simply increasing hitboxes (whether visibly or not) as users approach likely targets, using some knowledge of the interactive layout to better approach user intent. これは、小さいターゲットの場合は特に効果を発揮する可能性があります。This can be particularly powerful for small targets.

焦点の持続性Focus stickiness

近くにあるどの対話型要素に焦点を合わせるかを判断するときは、現在焦点が合っている要素にバイアスを提供します。When determining which nearby interactive elements to give focus to, provide a bias to the element that is currently focused. これは、自然なノイズを含む 2 つの要素間の中間でさまよっているときの、焦点の不規則な切り替え動作を減らすのに役立ちます。This will help reduce erratic focus switching behaviours when floating at a midpoint between two elements with natural noise.

関連項目See also