HoloLens 2 上の視線追跡

MRTK での目の追跡のデモ

HoloLens 2、ユーザーが見ている情報を使用する機能を開発者に提供することで、ホログラフィック エクスペリエンス内の新しいレベルのコンテキストと人間の理解が可能になります。 このページでは、開発者がさまざまな使用事例の視線追跡を利用する方法と、視線入力ベースのユーザー操作を設計する際に何を探す必要があるのかを説明します。

目の追跡 API は、ユーザーのプライバシーを念頭に置いて設計されています。識別可能な情報 (特に生体認証) を渡すのを回避します。 目追跡対応アプリケーションの場合、ユーザーは、目の追跡情報を使用するためのアクセス許可をアプリに付与する必要があります。

デバイス サポート

機能 HoloLens (第 1 世代) HoloLens 2 イマーシブ ヘッドセット
目の視線入力 ✔️

頭と目の追跡の設計概念デモ

動作している頭と目の追跡の設計概念を確認する場合は、下の「Designing Holograms - 頭の追跡と目の追跡」のビデオ デモをご覧ください。 終わったら、続けて特定のトピックについて詳しく見ていきます。

このビデオは、"Designing Holograms" の HoloLens 2 アプリから採用されたものです。すべてのエクスペリエンスは、こちらからダウンロードしてご利用いただけます。

調整

目の追跡を正確に機能するには、各ユーザーが一連のホログラフィック ターゲットを確認する必要がある、目の追跡ユーザーの調整を行う必要があります。 これにより、デバイスはシステムを調整して、ユーザーのより快適で高品質な表示エクスペリエンスを実現し、正確な目の追跡を同時に確保できます。

目の追跡はほとんどのユーザーに対して機能する必要がありますが、ユーザーが正常に調整できない場合はまれです。 調整は、次を含むさまざまな理由で失敗する可能性があります。

  • ユーザーが前回の調整プロセスを実施しなかった
  • ユーザーが気を取られ、調整ターゲットに従っていなかった
  • ユーザーは、システムがまだサポートしていない特定の種類のコンタクト レンズと眼鏡を持っています
  • ユーザーは、特定の目の目を見る、目の状態を持つ、またはシステムがまだサポートしていない目の治療を受けた
  • HoloLens バイザーや眼鏡のスマズ、激しい直接の眼球、目の前の女性によるオクルージョンなど、信頼性の高い目の追跡を阻害する外部要因

開発者は、(正常に調整できない) 目の追跡データを使用できない可能性があるユーザーに対して適切なサポートを提供する必要があります。 フォールバック ソリューションに関する推奨事項は、このページの下部にあるセクションで提供されています。

調整の詳細とスムーズなエクスペリエンスの確保方法については、目の追跡ユーザーの調整に関する ページを参照 してください。


使用可能な目の追跡データ

視線入力の特定の使用例について詳しく説明する前に、HoloLens 2 Eye Tracking APIで提供される機能について簡単に説明します。 開発者は、約 30 FPS (30 Hz) で単一の視線入力レイ (視線入力の原点と方向) にアクセスできます。 視線追跡データにアクセスする方法の詳細については 、DirectX での視線入力と Unity での視線入力の使用に関する開発者ガイドを 参照してください

予測された目の視線入力は、実際のターゲットを中心とする視覚的な角度で約 1.5 度以内です (下の図を参照)。 わずかな不正確性が予想される場合、開発者は、この下限値に関するマージンを計画する必要があります (たとえば、2.0 から 3.0 度の方がはるかに快適なエクスペリエンスになります)。 以下では、小さなターゲットの選択に対処する方法について詳しく説明します。 視線追跡が正しく機能するためには、各ユーザーが視線追跡ユーザー調整を行う必要があります。

2 m の距離での最適なターゲット サイズ
2 メートルの距離での最適なターゲット サイズ


ユース ケース

視線追跡を使用すれば、アプリケーションは、ユーザーが見ている場所をリアルタイムで追跡できます。 次の使用例では、複合現実内のユーザーの目の追跡で可能なHoloLens 2について説明します。 これらの使用例はまだ Holographic Shell エクスペリエンスの一部ではありません (つまり、アプリケーションの起動時に表示されるインターフェイスHoloLens 2。 これらの一部はMixed Reality Toolkitで試してみることができます。この例では、目の追跡を使用する興味深く強力な例がいくつか提供されています。たとえば、目でサポートされるすばやく簡単なターゲットの選択や、ユーザーが見た内容に基づいてテキストを自動的にスクロールする方法などです。

ユーザーの目的

ユーザーが見る場所と場所に関する情報は、音声、手、コントローラーなど、他の入力に強力なコンテキストを提供します。 これは、さまざまなタスクに利用できます。 たとえば、これは、ホログラムを見て "選択" (視線入力とコミットも参照 ) または "put this..." と言って、ユーザーがホログラムを配置する場所を探し、".." と言って、シーン全体ですばやく簡単にターゲット設定できる範囲です。 there" です。 この例は、「Mixed Reality Toolkit - Eye-supported Target Selection (Mixed Reality Toolkit - 目で支援するターゲット選択)」と「Mixed Reality Toolkit - Eye-supported Target Positioning (Mixed Reality Toolkit - 目で支援するターゲット配置)」に記載されています。

さらに、ユーザーの意図の例には、ユーザーが見ているものに関する情報を使用して、具体化された仮想エージェントや対話型ホログラムとのエンゲージメントを強化する場合があります。 たとえば、仮想エージェントは、現在表示されているコンテンツに基づいて、使用可能なオプションとその動作を調整できます。

暗黙的アクション

暗黙的アクションのカテゴリは、ユーザー意図に密接に関係しています。 この考え方は、ホログラムまたはユーザー インターフェイス要素が、ユーザーがシステムとやり取りしている感じすら感じない本能的な方法で反応するのではなく、システムとユーザーが同期しているという考え方です。1つの例として、ユーザーが長いテキストを読み取れる視線入力ベースの自動スクロールがあります。ユーザーはテキスト ボックスの一番下に移動すると自動的にスクロールを開始し、ユーザーは指を持ち上げずに読み取りフローを維持します。
この主な側面は、スクロール速度がユーザーの読み取り速度に適応する点です。 もう 1 つの例 は、目でサポートされるズームとパンです。そこでは、ユーザーが焦点を当てたものに正確に向かって飛び込むような感じがします。 ズーム速度のトリガーと制御は、音声または手入力によって制御できます。これは、ユーザーに制御感を提供し、操作に対する操作を制限しないようにするために重要です。 これらの設計上の考慮事項について、以下で詳しく説明します。 ズームインすると、ユーザーは、たとえば、通りのコースにスムーズに従って、目の視線入力を使用して自分の周辺を探索できます。 この種の相互作用に関するデモの例は、「Mixed Reality Toolkit - Eye-supported Navigation (Mixed Reality Toolkit - 目で支援するナビゲーション)」のサンプルを参照してください。

暗黙的なアクションのその他の 使用例には、次のようなもの があります。

  • スマート通知: 探している場所に通知がポップアップ表示され、うらやむやになったことはありますか? ユーザーが注意を払っている点を考慮して、ユーザーが現在参加している場所から通知をオフセットすることで、このエクスペリエンスを向上できます。 これにより、ユーザーの読み取りが完了すると、注意散見が制限され、自動的に削除されます。
  • [ホログラム] : ホログラム場合に少し反応するホログラムです。 これは、わずかに光る UI 要素、緩く花が生える花から、ユーザーを振り返り、その尾を振り始める仮想犬まで、さまざまなものがあります。 この対話によって、アプリケーションの接続性と満足感が興味深いものになる可能性があります。

注意追跡

ユーザーが見ている場所や場所に関する情報は、非常に強力なツールになる可能性があります。 これは、設計の使いやすさを評価し、ワークフロー内の問題を特定して、より効率的にするのに役立ちます。 目の追跡の視覚化と分析は、さまざまなアプリケーション領域で一般的な方法です。 このHoloLens 2、3D ホログラムを実際のコンテキストに配置し、適切に評価できるので、この理解に新しい次元を提供します。 次のMixed Reality Toolkit、追跡データのログ記録と読み込み、およびそれらを視覚化する方法に関する基本的な例を示します。 Microsoft は、ユーザーが目の追跡情報の使い方に関する情報に基づいた透過的なエクスペリエンスを確保しながら、イノベーションを促進するために専念しています。 開発者や UX チームと一緒に、ユーザーを中心にエクスペリエンスを確保するためのガイダンスをサード パーティに提供します。

この分野の他の適用方法を以下に示します。

  • リモート視線入力の視覚化: リモート視線入力の視覚化: リモート コラボレーターが何を見ているかを視覚化し、すぐにフィードバックを提供し、より正確な情報処理を容易にできます。
  • ユーザー調査: 注意の追跡は、ユーザーが自然環境をどのように認識し、それを妨げることなく関与しているかについてのより多くの洞察を得て、より本能的な人間とコンピューターの相互作用を設計するのに役立ちます。 目の追跡では、研究の参加者が直接明確に示していない情報を提供できます。そうしないと、研究者が見逃しがちな場合があります。
  • トレーニングとパフォーマンスの監視: 実行フローでボトルネックを効果的に特定することで、タスクの実行を練習して最適化します。 目の追跡は、自然な情報、リアルタイム情報、および目標情報を提供して、職場でのトレーニング、生産性、安全性の向上に役立ちます。
  • 設計評価、マーケティング、および消費者調査: 目の追跡を使用すると、商用企業は実際の環境でマーケティングや消費者の調査を実行したり、製品や宇宙の設計を改善するためにユーザーの注意を引く情報を分析したりすることができます。

その他のユース ケース

  • ゲーム: 超能力を持ちたいと思ったことはありますか? こつをお教えしましょう。 ホログラムを見つめ、ホログラムを浮き立たせすることができます。 目から光線を撮る - RoboRaid for HoloLens 2で試HoloLens 2。 敵を石に変える、または凍結する。 透視能力を使ってビルを探索します。 使い道は想像力次第です。 しかし、ユーザーを超え過ごさございました。詳しくは、視線入力ベースの入力設計ガイドライン をご覧ください

  • 表現力の高いアバター: 目の追跡は、ライブの目の追跡データを使用して、ユーザーが何を見ているかを示すアバターの目をアニメーション化することで、より表現力の高い 3D アバターを支援します。

  • テキスト エントリ: 目の追跡は、特に音声や手の使用が不便な場合に、低労力のテキスト入力の代替手段として使用できます。


視線入力を操作に使用する

動きの速い目のターゲット設定を利用する対話を構築すると、困難な場合があります。 一方で、目の動きが速くなるので、目の視線入力の使い方に注意する必要があります。そうしないと、ユーザーはエクスペリエンスが大きかったり、気を散らしたりする可能性があります。 一方で、ユーザーに楽しみな気持ちする真のエクスペリエンスを作成することもできます。 詳細については、主な利点、課題、および 対話のための目を見つめた設計上の推奨事項の概要に関する記事をご覧ください。

視線追跡が使用できない場合のフォールバックソリューション

まれに、視線追跡データが使用できない場合があります。 この原因として、最も一般的なものが次のとおりです。

  • システムはユーザーを 調整できませんでした。
  • ユーザーが 調整をスキップしました。
  • ユーザーは調整されていますが、目の追跡データを使用するためのアクセス許可をアプリに付与しないことに決定しました。
  • このユーザーには、システムがまだサポートしていない、一意の眼鏡またはいくつかの目の状態があります。
  • 外部要因は、目の前に髪があるので、HoloLens のバイザーや眼鏡の汚れ、の直射日光、occlusions など、信頼性の高い視線を追跡します。

開発者は、これらのユーザーに適切なフォールバックサポートがあることを確認する必要があります。 「 DirectX の目の追跡」 ページでは、視線追跡データが使用可能かどうかを検出するために必要な api について説明します。

一部のユーザーは、意識的の取り消しを決定した場合がありますが、目の追跡データへのアクセス権はありませんが、ユーザーエクスペリエンスの低下によって、目の追跡データへのアクセスを提供しないというプライバシーに対しては、これが意図していない場合があります。 アプリが視線追跡を使用していて、これがエクスペリエンスの重要な部分である場合は、これをユーザーに明確に伝えることをお勧めします。

アプリケーションの可能性を最大限に活用するために、目の追跡がアプリケーションにとって重要である理由をユーザーに通知します (一部の拡張機能を一覧表示することもできます)。これにより、ユーザーが何をしているかを理解しやすくなります。 上のチェックに基づいて、目の追跡が機能していない理由をユーザーが特定し、潜在的な問題の迅速なトラブルシューティングを行うための提案を提示します。

たとえば、システムが目の追跡をサポートしていることを検出できた場合は、ユーザーが調整され、アクセス許可が与えられていても、目の追跡データが表示されないことがあります。これは、汚れや目の occluded など、他の問題を指している可能性があります。

視線追跡が機能しない可能性があるユーザーはめったにありません。 そのため、では、アプリで目の追跡を有効にするためのアラームを消したり、無効にしたりできるようにすることで、このことを敬意してください。

プライマリ入力ポインターとして視線を使用してアプリのフォールバックを行う

アプリがポインター入力として視線を使用してシーン全体のホログラムをすばやく選択していても、目の追跡データが使用できない場合は、頭を見つめて、頭を見つめたカーソルを表示し始めることをお勧めします。 切り替えるかどうかを判断するには、タイムアウト (たとえば、500 ~ 1500 ミリ秒) を使用することをお勧めします。 この操作により、システムが短時間の動きやウインクが発生したために追跡が一時的に失われるたびにカーソルが表示されないようにすることができます。 Unity 開発者の場合、ヘッドの自動フォールバックは、Mixed Reality Toolkit で既に処理されています。 DirectX 開発者は、このスイッチを自分で処理する必要があります。

他の視点に特化したアプリケーションにフォールバックする

アプリは、目を絞って特別に調整された独自の方法で、目を見つめて使用する場合があります。 たとえば、アバターの目をアニメーション化したり、目をヒートマップに注目したりするには、視覚的な注意に関する正確な情報に依存します。 この場合、明確なフォールバックはありません。 視線追跡が使用できない場合は、これらの機能を無効にする必要がある場合があります。 ここでも、機能が動作していないことを認識していない可能性のあるユーザーに、このことを明確に伝えることをお勧めします。


このページでは、HoloLens 2 の視点の追跡と目を見つめた入力の役割について理解を深めるのに役立つ概要が提供されています。 開発を開始するには、ホログラムとの 相互作用のための視線の役割についての情報を確認します。また、 Unity で は目を見つめ、 DirectX では目を見つめます。

こちらもご覧ください