手を使ったポイントとコミットPoint and commit with hands

手を使ったポイントとコミットは、ユーザーが遠くにある 2D コンテンツや 3D オブジェクトをターゲットに設定したり、選択したり、操作したりすることを可能にする入力モデルです。Point and commit with hands is an input model that enables users to target, select and manipulate 2D content and 3D objects in the distance. この「遠隔」対話技術は Mixed Reality に固有のものであり、人間が現実の世界と自然に対話するためのものではありません。This "far" interaction technique is unique to mixed reality and is not a way humans naturally intereact with the real world. たとえば、スーパー ヒーロー映画 X-Men のキャラクター Magneto は、遠くにある物体に手を伸ばして操作することができます。For example, in the super hero movie X-Men, the character Magneto is capable of reaching out and manipulating a far object in the distance with his hands. こうしたことは現実世界では行えません。This is not something humans can do in reality. HoloLens (AR) と Mixed Reality (VR) を使用することで、この魔法の力をユーザーに付与してホログラフィック コンテンツをただ楽しむだけでなく、対話をより効果的かつ効率的にするために現実世界の物理的制約を打ち破ることができます。In both HoloLens (AR) and Mixed Reality (VR), we equip users with this magical power, breaking the physical constraint of the real world not only to have a delightful experience with holographic contents but also to make the interaction more effective and efficient.

デバイスのサポートDevice support

入力モデルInput model HoloLens (第 1 世代)HoloLens (1st gen) HoloLens 2HoloLens 2 イマーシブ ヘッドセットImmersive headsets
手を使ったポイントとコミットPoint and commit with hands ❌ サポート外❌ Not supported ✔️ 推奨✔️ Recommended ✔️ 推奨✔️ Recommended

ポイントとコミットは、ハンズ ファーと呼ばれることもあります。これは、新しい多関節ハンド トラッキング システムを利用した新機能の 1 つです。Point and commit, also known as hands far, is one of the new features that utilizes the new articulated hand-tracking system. この入力モデルは、モーション コントローラーを使用したイマーシブ ヘッドセットの主要な入力モデルでもあります。This input model is also the primary input model on immersive headsets through the use of motion controllers.

手の光線Hand rays

HoloLens 2 では、手のひらの中心から放出される手の光線を考案しました。On HoloLens 2, we created a hand ray that shoots out from the center of a palm. この光線は、手の延長と見なされます。This ray is treated as an extension of the hand. 光線がターゲット オブジェクトと交わる場所を示すために、光線の終端にドーナツ型のカーソルが取り付けられています。A donut-shaped cursor is attached to the end of the ray to indicate the location where the ray intersects with a target object. カーソルが届いているオブジェクトは、手から出されるジェスチャ コマンドを受け取ることができます。The object that the cursor lands on can then receive gestural commands from the hand.

この基本的なジェスチャ コマンドは、親指と人差し指を使ってエアタップ アクションを実行してトリガーされます。This basic gestural command is triggered by using the thumb and index finger to perform the air-tap action. 手の光線を使用してポイントし、エアタップを使用してコミットすることで、ユーザーは Web コンテンツ上のボタンまたはハイパーリンクを有効にすることができます。By using the hand ray to point and air tap to commit, users can activate a button or a hyperlink on a web content. ユーザーは、より複合的なジェスチャを使うことで、Web コンテンツをナビゲートしたり、遠くから 3D オブジェクトを操作したりすることができます。With more composite gestures, users are capable of navigating web content and manipulating 3D objects from a distance. 以下に説明および図示されているように、手の光線の視覚的なデザインも、これらのポイントとコミット状態に合わせて変化します。The visual design of the hand ray should also react to these point and commit states, as described and shown below:

  • ポイント状態の光線は破線で表され、カーソルはドーナツ型になります。In the pointing state, the ray is a dash line and the cursor is a donut shape.
  • コミット状態になると光線は実線に変わり、カーソルは小さくなってドットになります。In the commit state, the ray turns into a solid line and the cursor shrinks to a dot.

近くと遠くの切り替えTransition between near and far

「人差し指で指す」ことで光線を方向付けるなどの特定のジェスチャを使用する代わりに、手のひらの中心から光線が出るように設計しました。これにより、5 本の指を解放して、より操作的なジェスチャ (ピンチやグラブなど) を行うために取っておくことができます。Instead of using specific gesture, such as "pointing with index finger" to direct the ray, we designed the ray coming out from the center of the palm, releasing and reserving the five fingers for more manipulative gestures, such as pinch and grab. この設計では、メンタル モデルを 1 つだけ作りました。これにより、近くでも遠くでもまったく同じ一連の手のジェスチャで対話することができます。With this design, we create only one mental model, supporting exactly the same set of hand gestures for both near and far interaction. 同じグラブ ジェスチャで、距離が異なるオブジェクトを操作できます。You can use the same grab gesture to manipulate objects at different distances. 光線の呼び出しは、近さに基づいて自動で行われます。The invocation of the rays is automatic and proximity based:

  • 腕を伸ばした距離 (約 50 cm) の範囲内にオブジェクトが入ると光線は自動的に消え、近接の対話が勧められます。When an object is within arm reached distance (roughly 50 cm), the rays are turned off automatically encouraging for near interaction.
  • オブジェクトとの距離が 50 cm を超えると、光線が点灯します。When the object is farther than 50 cm, the rays are turned on. 切り替えはスムーズかつシームレスに行われます。The transition should be smooth and seamless.

2D スレートとの対話2D slate interaction

2D スレートは、Web ブラウザーなどの 2D アプリ コンテンツをホストするホログラフィック コンテナーです。A 2D Slate is a holographic container hosting 2D app contents, such as web browser. 2D スレートとの遠隔対話の設計概念は、手の光線を使ってターゲット設定し、エアタップで選択するというものです。The design concept for far interacting with a 2D slate is to use hand rays to target and air tap to select. 手の光線でターゲット設定した後、ユーザーはエアタップしてハイパーリンクまたはボタンをトリガーできます。After targeting with a hand ray, users can air tap to trigger a hyperlink or a button. 片手で「エアタップ アンド ドラッグ」して、スレートのコンテンツを上下にスクロールすることができます。They can use one hand to "air tap and drag" to scroll a slate content up and down. 両手を使ってエアタップ アンド ドラッグするという相対的な動きにより、スレートのコンテンツを拡大縮小することができます。The relative motion of using two hands to air tap and drag can zoom in and out the slate content.

手の光線を隅や端にターゲット設定すると、最も近くにある操作アフォーダンスが表示されます。Targeting the hand ray at the corners and edges reveals the closest manipulation affordance. ユーザーは操作アフォーダンスを「グラブ アンド ドラッグ」することで、隅のアフォーダンスによって均等に拡大縮小したり、端のアフォーダンスによってスレートをリフローしたりできます。By "grab and drag" the manipulation affordances, users can perform uniform scaling through the corner affordances and can reflow the slate via the edge affordances. 2D スレートの上部にあるホロバーをグラブ アンド ドラッグすることで、ユーザーはスレート全体を移動できます。Grabbing and dragging the holobar at the top of the 2D slate can users move the whole slate.

2D スレート本体の操作方法は、次のとおりです。For manipulating the 2D slate itself:

  • ユーザーは、手の光線を隅または端にポイントして、最も近くにある操作アフォーダンスを表示します。Users point the hand ray at the corners or edges to reveal the closest manipulation affordance.
  • アフォーダンスに操作ジェスチャを適用すれば、ユーザーは隅のアフォーダンスによって均等に拡大縮小したり、端のアフォーダンスによってスレートをリフローしたりできます。By applying a manipulation gesture on the affordance, users can perform uniform scaling through the corner affordance and can reflow the slate via the edge affordance.
  • 2D スレートの上部にあるホロバーに操作ジェスチャを適用することで、ユーザーはスレート全体を移動できます。By applying a manipulation gesture on the holobar at the top of the 2D slate, users can move the whole slate.

3D オブジェクトの操作3D object manipulation

直接操作では、ユーザーは、アフォーダンスをベースとする操作とアフォーダンスをベースとしない操作の 2 とおりの方法で 3D オブジェクトを操作することができます。In direct manipulation, there are two ways for users to manipulate 3D object, affordance-based manipulation and non-affordance based manipulation. ポイントとコミットのモデルでは、ユーザーは手の光線を使ってまったく同じ作業を行えます。In the point and commit model, users are capable of achieving exactly the same tasks through the hand rays. 学ばなければならないことは他にありません。No additional learning is needed.

アフォーダンスをベースとする操作Affordance-based manipulation

ユーザーは手の光線を使用して、境界ボックスと操作アフォーダンスをポイントし、表示します。Users use hand rays to point and reveal the bounding box and manipulation affordances. ユーザーは操作ジェスチャを境界ボックスに適用してオブジェクト全体を移動したり、端のアフォーダンスに適用して回転させたり、隅のアフォーダンスに適用して均等に拡大縮小したりすることができます。Users can apply the manipulation gesture on the bounding box to move the whole object, on the edge affordances to rotate and on the coner affordances to scale uniformly.


アフォーダンスをベースとしない操作Non-affordance based manipulation

ユーザーは手の光線を使ってポイントし、境界ボックスを表示した後、直接操作ジェスチャを適用します。Users point with hand rays to reveal the bounding box then directly apply manipulation gestures on it. 片手を使用する場合、オブジェクトの移動と回転は手の動きと向きに関連付けられます。With one hand, the translation and rotation of the object are associated to motion and orientation of the hand. ユーザーが両手を使用すると、両手の相対的な動きに応じてそのオブジェクトを移動、拡大縮小、回転できます。With two hands, users can translate, scale and rotate it according to relative motions of two hands.


本能的なジェスチャInstinctual gesturers

ポイントとコミットについての本能的なジェスチャの概念は、直接操作の概念と似ています。The concept of instinctual gestures for point and commit is similar to that for direct manipulation. ユーザーが 3D オブジェクトに対して実行すると想定されるジェスチャは、UI アフォーダンスの設計によって導かれます。The gestures users are suppose to perform on a 3D object are guided by the design of UI affordances. たとえば、小さな制御点の場合にはユーザーは親指と人差し指でピンチするよう誘導されるのに対し、大きなオブジェクトの場合は 5 本の指すべてを使ってつかむかもしれません。For example, a small control point might motivate users to pinch with their thumb and index finger, while a user might want to grab a larger object using all 5 fingers.


手と 6 DoF コントローラーの間の対称設計Symmetric design between hands and 6 DoF controller

遠くにあるものと対話する場合のポイントとコミットの概念は当初、Mixed Reality ポータル (MRP) 向けに考案され、定義されました。MRP では、ユーザーはイマーシブ ヘッドセットを装着し、モーション コントローラーを介して 3D オブジェクトとやり取りします。The concept of point and commit for far interaction was initially created and defined for the Mixed Reality Portal (MRP), where a user wears an immersive headset and interacts with 3D objects via motion controllers. モーション コントローラーは、遠くにあるオブジェクトをポイントして操作するために光線を放ちます。The motion controllers shoot out rays for pointing and manipulating far objects. コントローラーにはボタンがあって、さまざまな操作をさらにコミットします。There are buttons on the controllers for further committing different actions. 光線の対話モデルを利用して、それを両手で利用することにしました。We leverage the interaction model of rays and attached them to both hands. この対称設計により、MRP に精通しているユーザーは HoloLens 2 を使用するとき、遠くにあるものをポイントして操作するための別の対話モデルを学ぶ必要がなくなります (逆も同様です)。With this symmetric design, users who are familiar with MRP won't need to learn another interaction model for far pointing and manipulation when they use HoloLen 2, and vice versa.


本能的なジェスチャInstinctual gestures

関連項目See also