対話型オブジェクトInteractable object

Interactible オブジェクト

ボタンは、2D 抽象ワールドでイベントをトリガーするために使用される比喩です。A button has long been a metaphor used for triggering an event in the 2D abstract world. 3次元混合の現実世界では、この抽象化の世界に限定する必要はありません。In the three-dimensional mixed reality world, we don’t have to be confined to this world of abstraction anymore. イベントをトリガーする対話型オブジェクトを指定できます。Anything can be an interactable object that triggers an event. 対話型オブジェクトは、テーブル上のコーヒーカップの任意のものとして、無線でバルーンに表示できます。An interactable object can be represented as anything from a coffee cup on the table to a balloon floating in the air. ダイアログ UI などの特定の状況では、従来のボタンを引き続き使用します。We still do make use of traditional buttons in certain situation such as in dialog UI. ボタンのビジュアル表現は、コンテキストによって異なります。The visual representation of the button depends on the context.



対話型オブジェクトの重要なプロパティImportant properties of the interactable object

視覚的な合図Visual cues

視覚的な手掛かりとは、光の形で見てきた sensory キューであり、視覚認識中にビジュアルシステムによって処理されます。Visual cues are sensory cues received by the eye in the form of light and processed by the visual system during visual perception. ビジュアルシステムは多くの人、特に人間にとって最も重要であるため、視覚的な手掛かりは、世界の知覚に関する情報源です。Since the visual system is dominant in many species, especially humans, visual cues are a large source of information in how the world is perceived.

Holographic オブジェクトは、mixed reality の実際の環境とブレンドされるため、対話できるオブジェクトを理解するのが困難な場合があります。Since the holographic objects are blended with the real-world environment in mixed reality, it could be difficult to understand which objects you can interact with. 対話型オブジェクトについては、各入力状態の視覚的な手掛かりを区別することが重要です。For any interactable objects in your experience, it is important to provide differentiated visual cues for each input state. これにより、ユーザーは、エクスペリエンスのどの部分が対話型されているかを理解し、一貫性のある対話方式を使用してユーザーの信頼を得られるようになります。This helps the user understand which part of your experience is interactable and makes the user confident by using a consistent interaction method.



遠くのやり取りFar interactions

ユーザーが、宝石、ハンドレイ、およびモーションコントローラーの射線と対話できるオブジェクトについては、次の3つの入力状態に対して異なる視覚的な合図を使用することをお勧めします。For any objects that user can interact with gaze, hand ray, and motion controller's ray, we recommend to have different visual cue for these three input states:

interactibleobject-既定interactibleobject-states-default
既定 (監視) の状態Default (Observation) state
オブジェクトの既定のアイドル状態。Default idle state of the object. カーソルがオブジェクト上にありません。The cursor is not on the object. ハンドが検出されません。Hand is not detected.

interactibleobject-対象interactibleobject-states-targeted
ターゲット (ホバー) 状態Targeted (Hover) state
オブジェクトが、見つめカーソル、指近接、またはモーションコントローラーのポインターの対象になっている場合。When the object is targeted with gaze cursor, finger proximity or motion controller's pointer. カーソルがオブジェクト上にあります。The cursor is on the object. ハンドが検出され、準備が完了しました。Hand is detected, ready.

interactibleobject-押されたinteractibleobject-states-pressed
押された状態Pressed state
オブジェクトがエアタップジェスチャで押されたときに、指を押すか、モーションコントローラーの [選択] ボタンをクリックします。When the object is pressed with an air tap gesture, finger press or motion controller's select button. カーソルがオブジェクト上にあります。The cursor is on the object. ハンドが検出されました。Hand is detected, air tapped.



強調表示や拡大/縮小などの手法を使用して、ユーザーの入力状態を視覚的に示すことができます。You can use techniques such as highlighting or scaling to provide visual cues for the user’s input state. Mixed reality では、[スタート] メニューとアプリバーボタンを使用してさまざまな入力状態を視覚化する例を見つけることができます。In mixed reality, you can find the examples of visualizing different input states on the Start menu and with app bar buttons.

Holographic ボタンでは、次のような状態が表示されます。Here is what these states look like on a holographic button:

interactibleobject-既定interactibleobject-states-default
既定 (監視) の状態Default (Observation) state

interactibleobject-対象interactibleobject-states-targeted
ターゲット (ホバー) 状態Targeted (Hover) state

interactibleobject-押されたinteractibleobject-states-pressed
押された状態Pressed state



Near 相互作用 (ダイレクト)Near interactions (direct)

HoloLens 2 では、オブジェクトを操作できるようにするための入力追跡入力がサポートされています。HoloLens 2 supports articulated hand tracking input which allows you to interact with objects. Haptic のフィードバックや完全な深さの認識がなければ、オブジェクトから手の外に出てきたことや、それに触れているかどうかを判断するのは難しい場合があります。Without haptic feedback and perfect depth perception, it can sometimes be hard to tell how far away your hand is from an object or whether you are touching it. オブジェクトの状態と、特にそのオブジェクトに対する実際の状態を伝えるのに十分な視覚的な手掛かりを提供することが重要です。It is important to provide enough visual cues to communicate the state of the object and in particular the state of your hands in relation to that object.

視覚的フィードバックを使用して、次のことを伝えます。Use visual feedback to communicate the following:

  • 既定 (監視) : オブジェクトの既定のアイドル状態。Default (Observation): Default idle state of the object.
  • ホバー: 手がホログラムの近くにある場合は、ビジュアルを変更して、その手がホログラムをターゲットとしていることを伝えます。Hover: When a hand is near a hologram, change visuals to communicate that hand is targeting hologram. 
  • 距離とポイントとの相互作用: 手がホログラムに近づいたときに、投影された相互作用ポイントと、オブジェクトから指がどこまでの距離であるかを伝えるフィードバックをデザインします。Distance and point of interaction: As the hand approaches a hologram, design feedback to communicate the projected point of interaction, as well as how far from the object the finger is
  • 連絡先の開始: ビジュアル (明るい色) を変更して、タッチが発生したことを通知しますContact begins: Change visuals (light, color) to communicate that a touch has occurred
  • Grasped: オブジェクトが Grasped の場合にビジュアル (明るい、色) を変更します。Grasped: Change visuals (light, color) when the object is grasped
  • 連絡先の終了: タッチが終了したときのビジュアル (明るい、色) を変更しますContact ends: Change visuals (light, color) when touch has ended


ホバー (遠く)](images/640px-interactibleobject-states-near-hover.jpg) ![Hover (Far)
ホバー (遠く)Hover (Far)
手書きの距離に基づいて強調表示します。Highlighting based on the proximity of the hand.

ホバー (Near)](images/640px-interactibleobject-states-near-hovernear.jpg) ![Hover (Near)
ホバー (Near)Hover (Near)
ハンドの距離に応じてサイズの変化を強調表示します。Highlight size changes based on the distance to the hand.

タッチ/押しTouch / press
タッチ/押すTouch / press
ビジュアルとオーディオフィードバック。Visual plus audio feedback.

](images/640px-interactibleobject-states-near-grasp.jpg) を把握 ![Grasp
つかんGrasp
ビジュアルとオーディオフィードバック。Visual plus audio feedback.




HoloLens 2 のボタンは、さまざまな入力相互作用状態を視覚化する方法の例です。A button on HoloLens 2 is an example of how the different input interaction states are visualized:

[既定]Default
[既定]Default

ホバー](images/640px-interactibleobject-pressablebutton-hover.jpg) ![Hover
マウスHover
距離に基づく光源効果を表示します。Reveal a proximity-based lighting effect.

タッチTouch
タッチTouch
Ripple 効果を表示します。Show ripple effect.

ショートカット キーPress
ショートカット キーPress
前面プレートを移動します。Move the front plate.



HoloLens 2 の "リング" ビジュアルキューThe "ring" visual cue on HoloLens 2

HoloLens 2 では、ユーザーが深さを認識できるようにするための視覚的な手掛かりが追加されています。On HoloLens 2, there is an additional visual cue which can help the user's perception of depth. 指先がオブジェクトに近づいたときに、指先の近くにあるリングが表示され、スケールダウンされます。A ring near their fingertip shows up and scales down as the fingertip gets closer to the object. このリングは、押された状態に達したときに、最終的にドットに収束します。The ring eventually converges into a dot when the pressed state is reached. このビジュアル affordance は、オブジェクトからの距離をユーザーが理解するのに役立ちます。This visual affordance helps the user understand how far they are from the object.

ビデオループ: 境界ボックスとの近接度に基づくビジュアルフィードバックの例Video loop: Example of visual feedback based on proximity to a bounding box

spacespace
](images/HoloLens2_Proximity.gif) における視覚的フィードバックの ![Visual feedback on hand proximity



オーディオキューAudio cues

直接の対話では、適切なオーディオフィードバックによってユーザーエクスペリエンスが大幅に向上します。For direct hand interactions, proper audio feedback can dramatically improve the user experience. オーディオフィードバックを使用して、次のことを伝えます。Use audio feedback to communicate the following:

  • 連絡先の開始: タッチの開始時にサウンドを再生するContact begins: Play sound when touch begins
  • 連絡先の終了: タッチエンドでサウンドを再生するContact ends: Play sound on touch end
  • グラブの開始: グラブの開始時にサウンドを再生するGrab begins: Play sound when grab starts
  • グラブ端: グラブ終了時にサウンドを再生するGrab ends: Play sound when grab ends


音声コマンドVoice commanding

対話型オブジェクトについては、代替の対話オプションをサポートすることが重要です。For any interactable objects, it is important to support alternative interaction options. 既定では、対話型されているすべてのオブジェクトに対して、音声コマンドをサポートすることをお勧めします。By default, we recommend that voice commanding be supported for any objects that are interactable. 見つけやすさを向上させるために、ホバー状態のときにツールヒントを提供することもできます。To improve discoverability, you can also provide a tooltip during the hover state.

イメージ: 音声コマンドのツールヒントImage: Tooltip for the voice command

音声によるコマンド



サイズ設定に関する推奨事項Sizing recommendations

すべての対話型オブジェクトをユーザーが簡単に操作できるようにするには、ユーザーからの距離に基づいて、対話型が最小サイズ (視覚的な弧の角度で測定されることが多い) を満たしていることを確認することをお勧めします。To ensure that all interactable objects can easily be touched by users, we recommend that you make sure the interactable meets a minimum size (the visual angle often measured in degrees of visual arc) based on the distance it is placed from the user. 視覚的な角度は、ユーザーの視点とオブジェクトの間の距離に基づいており、一定のままになります。一方、ターゲットの物理的なサイズは、ユーザーからの距離が変化すると変化する可能性があります。Visual angle is based on the distance between the user's eyes and the object and stays constant, while the physical size of the target may change as the distance from the user changes. ユーザーからの距離に基づいてオブジェクトの必要な物理サイズを判断するには、このような視覚的な角度計算ツールを使用します。To determine the necessary physical size of an object based on the distance from the user, try using a visual angle calculator such as this one.

対話型コンテンツの最小サイズに関する推奨事項を以下に示します。Below are the recommendations for minimum sizes of interactable content.

ダイレクトハンド操作のターゲットサイズTarget size for direct hand interaction

[距離]Distance 表示角度Viewing angle サイズSize
45cm45cm 2°未満no smaller than 2° 1.6 x 1.6 cm1.6 x 1.6 cm

ダイレクトハンド操作の の目標サイズTarget size for direct hand interaction
ダイレクトハンド操作のターゲットサイズTarget size for direct hand interaction


ボタンのターゲットサイズTarget size for buttons

直接対話するためのボタンを作成する場合は、3.2 x 3.2 cm の最小サイズを大きくすることをお勧めします。これにより、アイコンと一部のテキストを格納するための十分な領域が確保されます。When creating buttons for direct interaction, we recommend a larger minimum size of 3.2 x 3.2 cm to ensure that there is enough space to contain an icon and potentially some text.

[距離]Distance 最小サイズMinimum size
45cm45cm 3.2 x 3.2 cm3.2 x 3.2 cm

ボタンの目標サイズを Target size for the buttons
ボタンのターゲットサイズTarget size for the buttons


ハンドレイまたは宝石の相互作用の目標サイズTarget size for hand ray or gaze interaction

[距離]Distance 表示角度Viewing angle サイズSize
2分2m 1°未満no smaller than 1° 3.5 x 3.5 cm3.5 x 3.5 cm

ハンドレイまたは宝石による相互作用の目標サイズ Target size for hand ray or gaze interaction
ハンドレイまたは宝石の相互作用の目標サイズTarget size for hand ray or gaze interaction



Unity 用の MRTK (Mixed Reality Toolkit) の対話型オブジェクトInteractable object in MRTK (Mixed Reality Toolkit) for Unity

Mrtk では、スクリプト対話型を使用して、オブジェクトがさまざまな種類の入力相互作用状態に応答するようにすることができます。In MRTK, you can use the script Interactable to make objects respond to various types of input interaction states. さまざまな種類のテーマをサポートしており、色、サイズ、素材、シェーダーなどのオブジェクトプロパティを制御することにより、視覚的な状態を定義できます。It supports various types of themes that allows you define visual states by controlling object properties such as color, size, material, and shader.

MixedRealityToolkit の標準シェーダーには、ビジュアルおよびオーディオキューを作成するのに役立つ近接光などのさまざまなオプションが用意されています。MixedRealityToolkit's Standard shader provides various options such as proximity light that helps you create visual and audio cues.



See also