頭の視線入力とコミットHead-gaze and commit

ヘッドを見つめてコミットすると、入力モデルになります。このモデルでは、前方 (ヘッド方向) の方向にあるオブジェクトをターゲットにし、ハンドジェスチャのエアタップや音声コマンドの選択などの2番目の入力で操作します。Head-gaze and commit is an input model that involves targeting an object with the direction of your head pointing forward (head-direction), and then acting on it with a secondary input, such as the hand gesture air tap or the voice command Select. これは間接的な操作を伴う外部入力モデルと見なされます。つまり、腕を超えるコンテンツとの対話に最適です。It is considered a far input model with indirect manipulation, meaning it is best used for interacting with content that is beyond arms reach.

デバイスのサポートDevice support

入力モデルInput model HoloLens (第 1 世代)HoloLens (1st gen) HoloLens 2HoloLens 2 イマーシブ ヘッドセットImmersive headsets
頭の視線入力とコミットHead-gaze and commit ✔️ 推奨✔️ Recommended ✔️ 推奨 (3 番目の選択肢 -他のオプションを参照)✔️ Recommended (third choice - See the other options) ➕ 代替オプション➕ Alternate option

頭の視線入力Head-gaze

Mixed Reality ヘッドセットは、ユーザーの頭の位置と向きを利用して、その頭の方向ベクトルを決定します。Mixed reality headsets use the position and orientation of the user's head to determine their head direction vector. これは、ユーザーの目と目の間から直接、まっすぐ前を指し示すレーザーと考えることができます。You can think of this as a laser that points straight ahead from directly between the user's eyes. これはユーザーが目を向けている場所の非常に粗い近似値です。This is a fairly coarse approximation of where the user is looking. アプリケーションでは、この射線と仮想または実世界のオブジェクトを交差させ、その位置にカーソルを描画して、現在対象としているものをユーザーに知らせることができます。Your application can intersect this ray with virtual or real-world objects, and draw a cursor at that location to let the user know what they are currently targeting.

「HoloLens 2」のように、一部の mixed reality ヘッドセットには、目を見つめたベクトルを作り出す視線追跡システムが含まれています。In addition to head gaze, some mixed reality headsets, like HoloLens 2, include eye tracking systems that produce an eye-gaze vector. これにより、ユーザーが目を向けている場所のきめ細かい測定値が得られます。This provides a fine-grained measurement of where the user is looking. 視線を使用して、宝石とコミットの相互作用を構築することができます。It is possible to build gaze and commit interactions using eye gaze. しかし、これには設計上の制約がまったく異なるものがあります。これについては、この記事で個別に説明します。But this comes with a very different set of design constraints, which will be covered separately in the eye-gaze article.

確定Commit

オブジェクトまたは UI 要素をターゲットにした後、ユーザーは2次入力を使用して操作またはクリックできます。After targeting an object or UI element, the user can interact or click on it using a secondary input. これは、モデルのコミット ステップと呼ばれています。This is known as the commit step of the model. 以下のコミット方法がサポートされています。The following commit methods are supported:

  • エアタップジェスチャAir tap gesture
  • 音声コマンド、選択、または対象となる音声コマンドの1つを読み上げます。Speak the voice command, Select, or one of the targeted voice commands
  • HoloLens Clickerで1つのボタンを押すPress a single button on a HoloLens Clicker
  • Xbox ゲームパッドで [A] ボタンを押すPress the 'A' button on an Xbox gamepad
  • Xbox adaptive コントローラーで [A] ボタンを押すPress the 'A' button on an Xbox adaptive controller

頭の視線入力とエアタップ ジェスチャHead-gaze and air tap gesture

エアタップは、手をまっすぐにしてタップするジェスチャです。Air tap is a tapping gesture with the hand held upright. エアタップを実行するには、インデックスの指を準備完了の位置まで上げて、親指でピンチし、インデックスを作成して、リリースまでさかのぼってください。To perform an air tap, raise your index finger to the ready position, then pinch with your thumb, and raise your index finger back up to release. HoloLens (第1世代) では、無線タップが最も一般的な2番目の入力です。On HoloLens (1st Gen), air tap is the most common secondary input.

準備完了位置の指と、タップまたはクリックの動き

無線タップは、HoloLens 2 でも使用できます。Air tap is also available on HoloLens 2. これは、元のバージョンからは緩和されています。It has been relaxed from the original version. ほとんどすべての種類の pinches は、手が垂直で維持されている限り、サポートされるようになりました。Nearly all types of pinches are now supported as long as the hand is upright and holding still. これによりユーザーは、はるかに簡単にジェスチャを学習したり実行したりできます。This makes it much easier for users to learn and perform the gesture. この新しいエアタップでは、古いものが同じ API を使用して置き換えられるため、HoloLens 2 の再コンパイル後に既存のアプリケーションの新しい動作が自動的に行われます。This new air tap replaces the old one through the same API, so existing applications will have the new behavior automatically after recompiling for HoloLens 2.

頭の視線入力と [選択] 音声コマンドHead-gaze and "Select" voice command

音声コマンド処理は、mixed reality の主要な相互作用メソッドの1つです。Voice commanding is one of the primary interaction methods in mixed reality. システムを制御するための非常に強力な機能を提供します。It provides a very powerful hands-free mechanism to control the system. さまざまな種類の音声操作モデルがあります。There are diferent types of voice interaction models:

  • クリック処理を実行する、または2次入力としてコミットする汎用コマンド選択。The generic command Select that performs a click actuation or commit as a secondary input.
  • Close などのオブジェクトコマンドや、拡大したオブジェクトコマンドは、アクションをセカンダリ入力として実行してコミットします。Object commands like Close or Make it bigger performs and commits to an action as a secondary input.
  • [開始] などのグローバルな commnads は、ターゲットを必要としません。Global commnads like Go to start don't require a target.
  • 対話ユーザーインターフェイスまたは Cortana のようなエンティティには、AI 自然言語機能があります。Conversation user interfaces or entities like Cortana have an AI natural language capability.
  • カスタム コマンドCustom commnads

使用可能なコマンドとその使用方法の詳細については、「comprenhesive 」を参照してください。To find more details as well as a comprenhesive list of available commands and how to use them, check out our voice commanding guidance.

頭の視線入力と HoloLens クリッカーHead-gaze and HoloLens Clicker

HoloLens Clicker は、HoloLens 専用に構築された最初の周辺機器です。The HoloLens Clicker is the first peripheral device built specifically for HoloLens. これは HoloLens (第1世代) Development Edition に含まれています。It is included with HoloLens (1st Gen) Development Edition. HoloLens Clicker を使用すると、ユーザーは最小限の手でクリックし、2番目の入力としてコミットできます。The HoloLens Clicker lets a user click with minimal hand motion, and commit as a secondary input. HoloLens Clicker は、Bluetooth 低エネルギー (BTLE) を使用して HoloLens (第1世代) または HoloLens 2 に接続します。The HoloLens Clicker connects to HoloLens (1st Gen) or HoloLens 2 using Bluetooth Low Energy (BTLE).

HoloLens クリッカーHoloLens Clicker
HoloLens クリッカーHoloLens Clicker

デバイスのペアリングの詳細と手順については、こちらを参照してくださいMore information and instructions to pair the device can be found here

頭の視線入力と Xbox ワイヤレス コントローラーHead-gaze and Xbox Wireless Controller

Xbox ワイヤレスコントローラーは、"A" ボタンを使用して、2番目の入力としてクリックを実行します。The Xbox Wireless Controller performs a click actuation as a secondary input by using the 'A' button. このデバイスは、システムのナビゲーションや制御に役立つ既定のアクションのセットにマップされています。The device is mapped to a default set of actions that help navigate and controll the system. コントローラーをカスタマイズする場合は、Xbox Accesories アプリケーションを使用して Xbox ワイヤレスコントローラーを構成します。If you want to customize the controller, use the Xbox Accesories application to configure your Xbox Wireless Controller.

Xbox ワイヤレス コントローラーXbox Wireless Controller
Xbox ワイヤレス コントローラーXbox Wireless Controller

Xbox コントローラーと PC のペアリングPairing an Xbox controller with your PC

頭の視線入力と Xbox Adaptive ControllerHead-gaze and Xbox Adaptive Controller

多くの場合、モビリティが制限されたゲーマーのニーズを満たすように設計されています。 Xbox Adaptive Controller はデバイス用の統合されたハブであり、混合の現実によりアクセスしやすくなります。Designed primarily to meet the needs of gamers with limited mobility, the Xbox Adaptive Controller is a unified hub for devices that helps make mixed reality more accessible.

Xbox Adaptive Controller は、"A" ボタンを使用して、2番目の入力としてクリックを実行します。The Xbox Adaptive Controller performs a click actuation as a secondary input by using the 'A' button. デバイスは、システムの移動と制御に役立つ既定のアクションセットにマップされます。The device is mapped to a default set of actions that help navigate and control the system. コントローラーをカスタマイズする場合は、Xbox Accesories アプリケーションを使用して Xbox Adaptive コントローラーを構成します。If you want to customize the controller, use the Xbox Accesories application to configure your Xbox Adaptive Controller.

Xbox Adaptive ControllerXbox Adaptive Controller
Xbox Adaptive ControllerXbox Adaptive Controller

スイッチ、ボタン、マウント、ジョイスティックなどの外部デバイスを接続して、独自のカスタムコントローラーエクスペリエンスを作成します。Connect external devices such as switches, buttons, mounts, and joysticks to create a custom controller experience that is uniquely yours. ボタン、サムスティック、およびトリガーの入力は、3.5 mm ジャックと USB ポートを介して接続されている補助デバイスで制御されます。Button, thumbstick, and trigger inputs are controlled with assistive devices connected through 3.5mm jacks and USB ports.

Xbox Adaptive Controller のポートXbox Adaptive Controller ports
Xbox Adaptive Controller のポートXbox Adaptive Controller ports

デバイスをペアリングする手順Instructions to pair the device

Xbox のサイトで参照できる詳細情報More info available on the Xbox site

設計ガイドラインDesign guidelines

注意

視線入力の設計に特化したガイダンスは、近日中に公開します。More guidance specific to gaze design coming soon.

頭の視線入力のターゲット設定Head-gaze targeting

すべての操作は、入力モードに関係なく、ユーザーが操作したい要素をターゲットに設定できることに基づいて成り立っています。All interactions are built upon the ability of a user to target the element they want to interact with, regardless of the input modality. Windows Mixed Reality では、これは、通常はユーザーの視線入力を使用して行われます。In Windows Mixed Reality, this is generally done using the user's gaze. ユーザーがエクスペリエンスを正常に操作できるようにするには、システムがユーザーの意図を理解していることと、ユーザーの実際の意図ができるだけ近いものである必要があります。To enable a user to work with an experience successfully, the system's calculated understanding of a user's intent and the user's actual intent must align as closely as possible. システムがユーザーの意図したアクションを正しく解釈するレベルまで、満足度が高くなりパフォーマンスが向上します。To the degree that the system interprets the user's intended actions correctly, satisfaction increases and performance improves.

ターゲットのサイズ設定とフィードバックTarget sizing and feedback

見つめベクターは、適切にターゲットを設定するために繰り返し表示されていますが、多くの場合、ターゲットの総計に最適です。The gaze vector has been shown repeatedly to be usable for fine targeting, but often works best for gross targeting--acquiring somewhat larger targets. 最小目標サイズが 1 ~ 1.5 °の場合、ほとんどのシナリオで成功したユーザー操作が可能になります。ただし、3度のターゲットでは、多くの場合、速度が向上します。Minimum target sizes of 1 to 1.5 degrees allows successful user actions in most scenarios, though targets of 3 degrees often allow for greater speed. ユーザーがターゲットに設定するサイズは、3D 要素であっても実質的に 2D 領域であり、それが面しているどの投影もターゲット設定可能な領域になるはずです。Note that the size that the user targets is effectively a 2D area even for 3D elements--whichever projection is facing them should be the targetable area. 要素が "アクティブ" である (ユーザーがターゲットとしている) ことを示すいくつかの重要な手掛かりが、非常に便利です。Providing some salient cue that an element is "active" (that the user is targeting it) is extremely helpful. これには、表示されている "ホバー" 効果、オーディオのハイライトやクリック、要素を含むカーソルの配置のクリアなどの処置が含まれます。This can include treatments like visible "hover" effects, audio highlights or clicks, or clear alignment of a cursor with an element.

2 m の距離での最適なターゲット サイズOptimal target size at 2 meter distance
2 m の距離での最適なターゲット サイズOptimal target size at 2 meter distance

視線入力のターゲットとなるオブジェクトの強調表示の例An example of highlighting a gaze targeted object
視線入力のターゲットとなるオブジェクトの強調表示の例An example of highlighting a gaze targeted object

ターゲットの配置Target placement

多くの場合、ユーザーは、ビューのフィールドに非常に高い、または低い位置にある UI 要素を見つけることができず、主なフォーカスの周りにある領域に注目することに重点が置かれています。Users often fail to find UI elements that are positioned very high or very low in their field of view, focusing most of their attention on areas around their main focus, which is approximately at eye level. ほとんどのターゲットは目の高さあたりの適正な帯域に配置すると効果的です。Placing most targets in some reasonable band around eye level can help. ユーザーは常に比較的小さい視覚野に焦点を合わせる傾向があることを考慮すると (注意の視円錐は約 10 度)、UI 要素を概念的に関連性のある度数にグループ化すれば、ユーザーが視線入力で領域内を移動する場合に、項目から項目への注意の連鎖動作を活用できます。Given the tendency for users to focus on a relatively small visual area at any time (the attentional cone of vision is roughly 10 degrees), grouping UI elements together to the degree that they're related conceptually can leverage attention-chaining behaviors from item to item as a user moves their gaze through an area. UI を設計する際は、HoloLens とイマーシブ ヘッドセットでは視野内に潜在的な大きなバリエーションがあることに注意してください。When designing UI, keep in mind the potential large variation in field of view between HoloLens and immersive headsets.

Galaxy Explorer で視線入力のターゲット設定を容易にするためにグループ化された UI 要素の例An example of grouped UI elements for easier gaze targeting in Galaxy Explorer
Galaxy Explorer で視線入力のターゲット設定を容易にするためにグループ化された UI 要素の例An example of grouped UI elements for easier gaze targeting in Galaxy Explorer

ターゲット設定動作の向上Improving targeting behaviors

ユーザーの意図を特定できる (または近似値を近似する) ことができた場合は、適切に対象としているかのように、操作の試行回数をよく受け入れることが非常に便利です。If user intent to target something can be determined (or approximated closely), it can be very helpful to accept near miss attempts at interaction as though they were targeted correctly. Mixed reality エクスペリエンスに組み込むことができる成功したメソッドのいくつかを次に示します。Here are a handful of successful methods that can be incorporated in mixed reality experiences:

頭の視線入力の安定化 ("重力井戸")Head-gaze stabilization ("gravity wells")

これは、ほとんどまたはすべての時間に有効にする必要があります。This should be turned on most or all of the time. この手法では、自然なヘッドとネックのジッターを排除します。これは、ユーザーが動作を検索したり話したりすることによって動きが多い場合があります。This technique removes the natural head and neck jitters that users might have as well movement due to looking and speaking behaviors.

これらは対話型コンテンツが少ない領域で最大の効果を発揮します。These work best in areas with sparse interactive content. ユーザーが何を操作しようとしているかを判断できる確率が高い場合は、ある程度のインテントを想定して、対象となる機能を補完することができます。If there is a high probability that you can determine what a user was attempting to interact with, you can supplement their targeting abilities by assuming some level of intent.

バックと後処理のアクションBackdating and postdating actions

このメカニズムは、速度が必要なタスクに役立ちます。This mechanism is useful in tasks requiring speed. ユーザーが一連のターゲットとアクティブ化を高速に進めるときは、何らかのインテントを想定し、ユーザーが tap の前または少しの間にフォーカスしていたターゲット (ea では50ミリ秒前/後) に対して、ユーザーの操作が不要な操作を実行できるようにすると便利です。テスト)。When a user is moving through a series of targeting and activation maneuvers at speed, it is useful to assume some intent, and allow missed steps to act upon targets that the user had in focus slightly before or slightly after the tap (50 ms before/after was effective in early testing).

スムージングSmoothing

このメカニズムは、自然なヘッド移動特性によってわずかなジッターと wobble を減らすことで、パスの移動に役立ちます。This mechanism is useful for pathing movements, reducing the slight jitter and wobble due to natural head movement characteristics. パスモーションをスムーズにスムージングする場合は、時間の経過と共に、移動のサイズと距離を滑らかにします。When smoothing over pathing motions, smooth by the size and distance of movements rather than over time.

磁性Magnetism

このメカニズムは、最も近いリンクアルゴリズムのより一般的なバージョンであると考えることができます。これは、ターゲットに向かってカーソルを描画するか、またはユーザーが対話形式のレイアウトについての知識を使用して対象となる可能性のあるターゲットにアプローチすることで、パフォーマンスを向上させることができるからです。ユーザーの意図をアプローチします。This mechanism can be thought of as a more general version of closest link algorithms--drawing a cursor toward a target or simply increasing hitboxes, whether visibly or not, as users approach likely targets by using some knowledge of the interactive layout to better approach user intent. これは、小さいターゲットの場合は特に効果を発揮する可能性があります。This can be particularly powerful for small targets.

焦点の持続性Focus stickiness

フォーカスのある近接要素にフォーカスを移すときに、フォーカスの持続性により、現在フォーカスがある要素にバイアスが適用されます。When determining which nearby interactive elements to give focus to, focus stickiness provides a bias to the element that is currently focused. これにより、自然なノイズを持つ2つの要素間の中間点で浮動フォーカスの切り替えビヘイビアーを減らすことができます。This helps reduce erratic focus switching behaviours when floating at a midpoint between two elements with natural noise.

複合ジェスチャComposite gestures

エアタップAir tap

エアタップジェスチャ (およびその他のジェスチャ) は、特定の tap にのみ反応します。The air tap gesture (as well as the other gestures below) reacts only to a specific tap. メニューやつかみなど、他のタップを検出するには、前の「2つの主要なコンポーネントのジェスチャ」セクションで説明されている下位レベルの相互作用をアプリケーションで直接使用する必要があります。To detect other taps, such as Menu or Grasp, your application must directly use the lower-level interactions described in the two key component gestures section above.

タップ アンド ホールドTap and hold

ホールドは、単にエアタップの下向きの指の位置を保持することです。Hold is simply maintaining the downward finger position of the air tap. エアタップとホールディングを組み合わせることにより、さまざまな複雑な "クリックアンドドラッグ" の相互作用が可能になります。たとえば、オブジェクトをアクティブ化する代わりにオブジェクトを選択したり、コンテキストメニューを表示するなどの二次的な相互作用を待機したりすることができます。The combination of air tap and hold allows for a variety of more complex "click and drag" interactions when combined with arm movement such as picking up an object instead of activating it or mousedown secondary interactions such as showing a context menu. ただし、このジェスチャの設計時には注意が必要です。これは、ユーザーはジェスチャを長く続けると途中で手の姿勢を緩める傾向があるためです。Caution should be used when designing for this gesture however, as users can be prone to relaxing their hand postures during the course of any extended gesture.

操作Manipulation

操作ジェスチャを使用すると、ホログラムがユーザーの手の動きに1:1 を反応させる場合に、ホログラムの移動、サイズ変更、または回転を行うことができます。Manipulation gestures can be used to move, resize, or rotate a hologram when you want the hologram to react 1:1 to the user's hand movements. このような 1 対 1 の動きの 1 つの用途は、ユーザーが世界中で絵を描いたりペイントしたりできるようにすることです。One use for such 1:1 movements is to let the user draw or paint in the world. 操作のジェスチャの最初のターゲット設定は、視線入力またはポインティングによって行う必要があります。The initial targeting for a manipulation gesture should be done by gaze or pointing. タップとホールドが開始されると、オブジェクトの操作は手動で処理され、ユーザーが操作中に見えなくなるのを解放します。Once the tap and hold starts, any manipulation of the object is handled by hand movements, freeing the user to look around while they manipulate.

ナビゲーションのジェスチャは仮想ジョイスティックのように動作し、リング メニューなどの UI ウィジェット内で移動するために使用できます。Navigation gestures operate like a virtual joystick, and can be used to navigate UI widgets, such as radial menus. タップ アンド ホールドでジェスチャを始めてから、最初に押したところを中心に、正規化された 3D 立方体の中で手を動かします。You tap and hold to start the gesture and then move your hand within a normalized 3D cube, centered around the initial press. 開始点 0 で、-1 から 1 までの値から X、Y、または Z 軸に沿って手を動かすことができます。You can move your hand along the X, Y or Z axis from a value of -1 to 1, with 0 being the starting point. ナビゲーションを使用すると、マウスの中央ボタンをクリックしてからマウスを上下に移動して 2 次元の UI をスクロールするのと同様に、速度ベースの連続したスクロールやズームのジェスチャを作成できます。Navigation can be used to build velocity-based continuous scrolling or zooming gestures, similar to scrolling a 2D UI by clicking the middle mouse button and then moving the mouse up and down.

Rails を使用したナビゲーションとは、特定の軸で特定のしきい値に達するまで移動を認識する機能を指します。Navigation with rails refers to the ability of recognizing movements in certain axis until a certain threshold is reached on that axis. これは、開発者によってアプリケーションで複数の軸での移動が有効になっている場合にのみ役立ちます。たとえば、アプリケーションが X 軸と Y 軸にわたるナビゲーションジェスチャを認識するように構成されていても、X 軸に rails が指定されている場合などです。This is only useful when movement in more than one axis is enabled in an application by the developer, such as if an application is configured to recognize navigation gestures across X, Y axis but also specified X axis with rails. この場合、システムは x 軸上の架空のレール (ガイド) 内にある限り、X 軸を越えた手の移動を認識します。これは、Y 軸でも手動で移動した場合に発生します。In this case the system will recognize hand movements across X axis as long as they remain within an imaginary rails (guide) on the X axis, if hand movement also occurs on the Y axis.

2D のアプリ内では、ユーザーは、アプリ内でスクロール、ズーム、またはドラッグするために、垂直方向のナビゲーション ジェスチャを使用できます。Within 2D apps, users can use vertical navigation gestures to scroll, zoom, or drag inside the app. これは、同じ種類のタッチ ジェスチャをシミュレートするために、アプリに仮想の指でのタッチを挿入します。This injects virtual finger touches to the app to simulate touch gestures of the same type. ユーザーは、アプリケーションの上部にあるバーのツールを切り替えることによって実行するアクションを選択できます。これを行うには、ボタンを選択するか、[スクロール/ドラッグ/ズーム > ツールを <] をクリックします。Users can select which of these actions take place by toggling between the tools on the bar above the application, either by selecting the button or saying '<Scroll/Drag/Zoom> Tool'.

複合ジェスチャに関する詳細情報More info on composite gestures

ジェスチャ認識エンジンGesture recognizers

ジェスチャ認識を使用する利点の1つは、現在ターゲットとなっているホログラムが受け入れるジェスチャに対してのみジェスチャ認識エンジンを構成できることです。One benefit of using gesture recognition is that you can configure a gesture recognizer only for the gestures the currently targeted hologram can accept. プラットフォームは、サポートされている特定のジェスチャを区別するために、必要に応じてあいまいさを解消します。The platform only does disambiguation as necessary to distinguish those particular supported gestures. このようにして、エアタップをサポートしているホログラムは、プレスとリリースの間に任意の時間を受け入れることができます。一方、タップとホールドの両方をサポートするホログラムは、ホールド時間のしきい値を超えたときにタップを保留に昇格させることができます。In this way, a hologram that just supports air tap can accept any length of time between press and release, while a hologram that supports both tap and hold can promote the tap to a hold after the hold time threshold.

手の認識Hand recognition

HoloLens は、デバイスで確認できる片手または両手の位置を追跡することで、手のジェスチャを認識します。HoloLens recognizes hand gestures by tracking the position of either or both hands that are visible to the device. HoloLens は、手が準備完了状態 (手の甲を自分に向けて人差し指を立てる) または押された状態 (手の甲を自分に向けて人差し指を曲げる) のいずれかの状態のときに、手を認識します。HoloLens sees hands when they are in either the ready state (back of the hand facing you with index finger up) or the pressed state (back of the hand facing you with the index finger down). 他の人の手による場合、HoloLens は z を無視します。When hands are in other poses, HoloLens ignore themz. HoloLens が検出した各ハンドでは、向きと押されていない状態でその位置にアクセスできます。For each hand that HoloLens detects, you can access its position without orientation and its pressed state. 手がジェスチャ フレームの端に近づくと、方向ベクトルも表示されます。これをユーザーに示すことで、ユーザーは、どのように手を動かせば、HoloLens が認識できる位置に戻せるかを知ることができます。As the hand nears the edge of the gesture frame, you're also provided with a direction vector, which you can show to the user so they know how to move their hand to get it back where HoloLens can see it.

ジェスチャ フレームGesture frame

HoloLens でのジェスチャでは、ジェスチャが検出されたカメラが適切に見える範囲で、ウェストとショルダーの間にジェスチャを使用する必要があります。For gestures on HoloLens, the hand must be within a gesture frame, in a range that the gesture-sensing cameras can see appropriately, from nose to waist and between the shoulders. ユーザーは、正常に動作していて快適にするために、この認識の領域でトレーニングを受ける必要があります。Users need to be trained on this area of recognition both for success of action and for their own comfort. 多くのユーザーは、最初に、ジェスチャフレームが HoloLens を通じて表示されている必要があります。また、対話するために、そのアームをすぐに保持しておく必要があります。Many users will initially assume that the gesture frame must be within their view through HoloLens, and hold their arms up uncomfortably in order to interact. HoloLens Clicker を使用する場合、ジェスチャフレーム内にハンドを配置する必要はありません。When using the HoloLens Clicker, it's not necessary for hands to be within the gesture frame.

特に連続したジェスチャの場合、ユーザーが holographic オブジェクトを移動するときにジェスチャの途中でハンドを動かしたときに、意図した結果が失われる危険性があります。In the case of continuous gestures in particular, there is some risk of users moving their hands outside of the gesture frame while in mid-gesture when moving a holographic object, for example, and losing their intended outcome.

考慮すべきことが 3 つあります。There are three things that you should consider:

  • ジェスチャフレームの存在とおおよその境界に関するユーザー教育。User education on the gesture frame's existence and approximate boundaries. これは、HoloLens セットアップ中に学習されます。This is taught during HoloLens setup.

  • アプリケーション内のジェスチャが近づいているか、ジェスチャフレームの境界が失われた場合に、望ましくない結果につながることをユーザーに通知します。Notifying users when their gestures are nearing or breaking the gesture frame boundaries within an application to the degree that a lost gesture leads to undesired outcomes. 調査には、このような通知システムの主要な品質が示されています。Research has shown the key qualities of such a notification system. HoloLens シェルは、この種類の通知の良い例を提供しています。つまり、中央カーソルで、境界の交差が行われている方向を示しています。The HoloLens shell provides a good example of this type of notification--visual, on the central cursor, indicating the direction in which boundary crossing is taking place.

  • ジェスチャ フレームの境界を越えることによる影響は、最小限に抑える必要があります。Consequences of breaking the gesture frame boundaries should be minimized. 一般に、これは、ジェスチャの結果を、逆順ではなく境界で停止する必要があることを意味します。In general, this means that the outcome of a gesture should be stopped at the boundary, and not reversed. たとえば、ユーザーがある程度の holographic オブジェクトを部屋に移動する場合、ジェスチャフレームが侵害されたときに移動が停止し、開始位置には返されません。For example, if a user is moving some holographic object across a room, the movement should stop when the gesture frame is breached, and not returned to the starting point. ユーザーにはいくつかのフラストレーションが生じる可能性がありますが、境界をよりよく理解しておくことが必要であり、すべての目的のアクションを毎回再起動する必要はありません。The user might experience some frustration, but might more quickly understand the boundaries, and not have to restart their full intended actions each time.

関連項目See also