目の視線入力とコミットEye-gaze and commit

HoloLens 2 では、頭の視線入力ではなく目の視線入力を使用することで、視線入力とコミットをより迅速で快適なものにできます。With HoloLens 2, we have the great opportunity to make gaze & commit faster and more comfortable by using eye gaze instead of head gaze. これにより、一般的な頭の視線入力とコミットの相互作用モデルを拡張できます。This allows to extend the common head-gaze and commit interaction model:

  1. ターゲットを見つめるだけSimply look at a target and
  2. ターゲットを選択するという意図を示すために、次のような第 2 の明示的な入力を実行します。To confirm your intention to select the target, perform a secondary explicit input such as a:
    • 手のジェスチャ (エアタップなど)Hand gesture (e.g., an Air Tap)
    • ボタン押下 (Bluetooth キーボードやクリッカーなど)Button press (e.g., on a Bluetooth keyboard or clicker)
    • 音声コマンド (「選択」など)Voice command (e.g., "Select")
    • ドウェル (つまり、ユーザーはターゲットを見つめ続けることで選択する)Dwelling (i.e., the user simply keeps looking at the target to select)

ただし、目の視線入力はいくつかの点で頭の視線入力とまったく異なる動作をするため、さまざまな固有の課題があります。However, eye gaze behaves very differently to head gaze in certain ways and hence comes with a number of unique challenges. 目の視線入力設計ガイドラインに、ホログラフィック アプリで視線追跡を入力として使用する場合に考慮すべき一般的なメリットと課題の概要が記載されています。In the Eye Gaze Design Guidelines, we summarize general advantages and challenges to take into account when using eye tracking as an input in your holographic app. このセクションでは、目の視線入力とコミットに関する特定の設計考慮事項を中心に説明します。In this section, we focus on the specific design considerations for eye-gaze & commit. まず、私たちの目は非常に速く動くため、視界からすばやくターゲット設定を行うのに適しています。First, our eyes move incredibly fast and thus are great at quickly targeting across the view. したがって、目の視線入力は、特に、エアタップやボタン押下などの高速コミットと組み合わせたときに、迅速な視線入力とコミットのアクションに理想的と言えます。This makes eye gaze ideal for quick gaze-and-commit actions especially when combined with fast commits such as an air-tap or button press.

ここでは、この種の相互作用に目の視線入力を使用する場合の設計ガイドラインを示し、頭の視線入力と目の視線入力の違いについて考慮しておく必要がある点を説明します。In the following, we will address design guidelines when using eye gaze for this type of interaction and will discuss differences between head and eye gaze that you should keep in mind.

目の視線入力とコミットに関する設計ガイドラインDesign guidelines for eye-gaze and commit

カーソルを表示しない:頭の視線入力の使用中はカーソルを使わずに操作するのはほぼ不可能なのに対して、目の視線入力の使用中はカーソルがたちまち集中の邪魔をしたり、目障りになったりします。Do not show a cursor: While it is nearly impossible to interact without a cursor when using head gaze, the cursor becomes quickly distracting and annoying when using eye gaze. 視線追跡が機能しているかどうかということと、現在見ているターゲットが正しく検出されたかどうかをユーザーに知らせるためにカーソルに頼るのではなく、繊細なビジュアル ハイライトを使用します (詳細については後述します)。Instead of relying on a cursor to inform the user whether eye tracking is working and has correctly detected the currently looked at target, use subtle visual highlights (more details below).

繊細なブレンド ホバー フィードバックを追求する:頭の視線入力にとっては優れた視覚的フィードバックが、目の視線入力にとっては不快で混乱するエクスペリエンスになる可能性があります。Strive for subtle blended hover feedback: What seems great visual feedback for head gaze can result in terrible, overwhelming experiences using eye gaze. 目の動きは非常に速いため、視野の中の点から点へとすばやく動くことにご注意ください。Remember that your eyes are enormously fast, quickly darting across points in your field-of-view. 周りを見回しているときに急にハイライトが変化 (オン/オフ) すると、フィードバックがちらつく可能性があります。Quick sudden highlight changes (on/off) may result in flickery feedback when looking around. そのため、ホバー フィードバックを提供する場合は、スムーズ ブレンドイン ハイライト (視線を外す場合はスムーズ ブレンドアウト ハイライト) を使用することをお勧めします。So, when providing hover feedback, we recommend using a smoothly blended-in highlight (and blended-out when looking away). これは、ターゲットを見たときに、最初はフィードバックにほとんど気付かないことを意味します。This means that at first you would barely notice the feedback when looking at a target. 500 - 1000 ミリ秒かけて、ハイライトの輝度が上がります。Over the course of 500-1000 ms the highlight would increase in intensity. 初級ユーザーは見つめているターゲットが正しく判別されたことを確かめようとしてターゲットを見つめ続けるかもしれませんが、上級ユーザーはフィードバックが最大輝度になるのを待たずにすばやく視線入力とコミットを実行できます。While novice users could keep looking at the target to ensure that the system has correctly determined the focused target, expert users could quickly gaze & commit without waiting until the feedback is at its full intensity. 加えて、ホバー フィードバックをフェードアウトするときにブレンドアウトを使用することもお勧めします。In addition, we also recommend using a blend-out when fading out the hover feedback. 調査により、周辺視野 (つまり、自分が見ていない視野の領域) では動きやコントラストの急激な変化が非常に目立つことがわかりました。Research has shown that quick motion and contrast changes are very noticeable in your peripheral vision (so, the area of your visual field where you are not looking). フェードアウトをブレンドインと同じほど遅くする必要はありません。The fade-out doesn't have to be as slow as the blend-in. このことは、ハイライトのコントラストが高い場合や色が変化する場合にのみ重要です。This is only critical when you have high contrast or color changes for your highlight. ホバー フィードバックが極めて繊細な場合は、初めは違いに気付かないかもしれません。If the hover feedback was pretty subtle to begin with, you probably won't notice a difference.

視線入力とコミット信号を同期させるよう配慮する:入力信号の同期は、単純な視線入力とコミットの場合は大きな問題ではないため、気にする必要はありません。Look out for synchronizing gaze and commit signals: The synchronization of input signals may be less of a challenge for simple gaze & commit, so, don't worry! より複雑なコミット アクションを使用する必要があるものの、そのためには長い音声コマンドや複雑な手のジェスチャが必要になる場合は注意が必要です。It is something to look out for in case you want to use more complicated commit actions though that may involve long voice commands or complicated hand gestures. ターゲットを見つめて、長い音声コマンドを発音する場合を想像してください。Imagine you look at target and utter a long voice command. 発音するのに必要な時間と、発音された内容をシステムが検出するのに必要な時間を考えると、目の視線入力はシーン内の離れた場所にある新しいターゲットに移動している可能性があります。Taken into account the time that you needed to speak and the time that the system needed to detect what you said, your eye gaze has usually long moved on to some new target in the scene. そのため、コマンドが認識されるまでターゲットを見つめ続けなければならないことをユーザーに気付かせるか、コマンドの開始とユーザーがその時点で見ていたものを特定するという方法で入力を処理する必要があります。Hence, either make your users aware that they may need to keep looking at a target until the command has been recognized or handle the input in a way to determine the onset of the command and what the user had been looking at back then.

関連項目See also