対話型のオブジェクトInteractable object

ボタンには、2 D 抽象世界でイベントをトリガーに使用されるメタファが長年です。A button has long been a metaphor used for triggering an event in the 2D abstract world. 3 次元の複合現実の世界では、この抽象化はもはやの世界に限定しました必要はありません。In the three-dimensional mixed reality world, we don’t have to be confined to this world of abstraction anymore. 何もすることができます、対話型のオブジェクトイベントをトリガーします。Anything can be an interactable object that triggers an event. 対話型のオブジェクトは、そのテーブルに、コーヒー カップから空中に浮かんでバルーンをものとして表現できます。An interactable object can be represented as anything from a coffee cup on the table to a balloon floating in the air. 引き続き行うことで特定の状況はダイアログの UI などの従来のボタンを使用します。We still do make use of traditional buttons in certain situation such as in dialog UI. ボタンの視覚的表現は、コンテキストによって異なります。The visual representation of the button depends on the context.

Interactible オブジェクト

対話型のオブジェクトの重要なプロパティImportant properties of the interactable object

視覚的な合図Visual cue

視覚的な手掛かりは、ライトの形式で目によって受信され、視覚認識の中に visual システムによって処理される感覚的な手掛かりです。Visual cues are sensory cues received by the eye in the form of light and processed by the visual system during visual perception. Species 多く、特にの人間では、ビジュアルのシステムから視覚的な手掛かりは、世界を認識する方法の情報の大規模な源です。Since the visual system is dominant in many species, especially humans, visual cues are a large source of information in how the world is perceived.

複合現実で holographic オブジェクトは、実際の環境とが混在しているため困難になることな対話型のオブジェクトを理解します。In mixed reality, since the holographic objects are mixed with the real-world environment, it could be difficult to understand which objects are interactable. お客様のエクスペリエンスで対話型のオブジェクトの状態を各入力に差別化された視覚的な合図を提供する重要なは。For any interactable objects in your experience, it is important to provide differentiated visual cue for each input state. これにより、ユーザーのエクスペリエンスの部分が対話型と一貫性のある相互作用方式で確実に、ユーザーは、理解できます。This helps the user understand which part of your experience is interactable and makes the user confident with consistent interaction method.

ここまでの相互作用Far interactions

任意のオブジェクトにそのユーザーおよび操作できます視線の先、手の形のレイ モーション コント ローラーのレイをお勧めこれら 3 つの入力の状態の別の視覚的に。For any objects that user can interact with gaze, hand ray, and motion controller's ray, we recommend to have different visual cue for these three input states:

  • 既定 (監視) :オブジェクトの既定のアイドル状態です。Default (Observation): Default idle state of the object.
  • 対象となる (ホバー) :オブジェクトは視線の先のカーソルにターゲットになると、本の指近接やアニメーション コント ローラーのポインター。Targeted (Hover): When the object is targeted with gaze cursor, finger proximity or motion controller's pointer.
  • 押された:オブジェクトをエア タップ ジェスチャや指キーを押してモーション コント ローラーの [選択] ボタンを押したときにします。Pressed: When the object is pressed with air-tap gesture, finger press or motion controller's select button.

強調表示機能やスケーリングなどの手法を使用すると、ユーザーの入力の状態を視覚的な合図を提供します。You can use techniques such as highlighting or scaling to provide visual cue to the user’s input states. Windows Mixed Reality では、[スタート] メニューおよびアプリ バー ボタンのさまざまな入力の状態を視覚化の例が見つかります。In Windows Mixed Reality, you can find the examples of visualizing different input states on Start menu and App Bar buttons.

監視状態を視覚化するための例は、状態、対象とし、状態の押されました。Example of visualizing observation state, targeted state, and pressed state
監視状態を視覚化するための例は、状態、対象とし、状態の押されました。Example of visualizing observation state, targeted state, and pressed state

監視の状態、状態、対象となるおよび holographic ボタンの状態を押したObservation state, targeted state, and pressed state on holographic button
監視の状態、状態、対象となるおよび holographic ボタンの状態を押したObservation state, targeted state, and pressed state on holographic button

Near(direct) 相互作用Near(direct) interactions

HoloLens 2 には、追跡オブジェクトと対話できる入力関節手がサポートされています。HoloLens 2 supports articulated hand tracking input which allows you to interact with objects. Haptic フィードバックや完璧な深さ perception もなしはオブジェクトからの手がどれほど離れてか接触するかどうかを判断することができます。Without haptic feedback and perfect depth perception sometimes it can be hard to tell how far away your hand is from an object, or whether you are touching. 特に手ホログラムに関連するのと、オブジェクトの状態を通信するために十分な視覚的手掛かりを提供する重要です。It is important to provide enough visual cues to communicate the state of the object and in particular of your hands in relation to holograms.

次の通信に視覚的なフィードバックを使用します。Use visual feedback to communicate the following:

  • 既定 (監視) :オブジェクトの既定のアイドル状態です。Default (Observation): Default idle state of the object.
  • マウス ポインターを移動:手の形の場合は、ほぼホログラム、手札を通信するためにビジュアルを変更すると、ホログラムが対象とします。Hover: When hand is near a hologram, change visuals to communicate that hand is targeting hologram. 
  • 相互作用のポイントとの距離: 手が近づくホログラム、指は、オブジェクトから遠く離れた方法と、操作の射影されたポイントの通信にフィードバックをデザインします。Distance and point of interaction: As hand approaches hologram, design feedback to communicate the projected point of interaction, as well as how far from the object the finger is
  • Begin にお問い合わせください:そのタッチを通信するためのビジュアルの変更 (色、光) が発生しましたContact Begin: Change visuals (light, color) to communicate that touch has occured
  • 文章:変更 (色、光) のビジュアル オブジェクトを見せるとき。Grasped: Change visuals (light, color) when the object is grasped.
  • 最後にお問い合わせください:変更 (色、光) ビジュアル タッチが終了したとき。Contact End: Change visuals (light, color) when touch has ended.

操作の状態の近くの視覚化の例Example of visualizing near interaction states
操作の状態の近くの視覚化の例Example of visualizing near interaction states

HoloLens 2 ボタンさまざまな入力の対話操作の状態を視覚化の例を示します。The Button in HoloLens 2 shows the example of visualizing different input interaction states.

HoloLens 2 pressable ボタンの例Example of pressable button in HoloLens 2
HoloLens 2 pressable ボタンの例Example of pressable button in HoloLens 2

HoloLens の 2 を深さ perception でユーザーの信頼度を向上させるその他の視覚的があります。In HoloLens 2, there is an additional visual cue which improves the user's confidence on the depth perception. 指のリングでは、表示し、指がオブジェクトに近づくようにスケール ダウンします。The ring on the fingertip shows up and scales down as the fingertip gets closer to the object. リングは、キーを押して状態でドットに最終的に収束します。The ring eventually converges into a dot on press state. この visual アフォー ダンスでは、ユーザーがオブジェクトからの距離を理解するのに役立ちます。This visual affordance helps the user understand the distance from the object.

指先リングの視覚化Fingertip ring visualization
HoloLens 2 では、指先リングの視覚エフェクトFingertip ring visualization in HoloLens 2

近接の手の形で視覚的なフィードバックVisual feedback on hand proximity
境界ボックスの近接度に基づいて視覚的なフィードバックの例Example of visual feedback based on the proximity - Bounding Box

オーディオ キューAudio cue

直接手の相互作用の適切なオーディオをフィードバックはユーザー エクスペリエンスを大幅に向上することができます。For the direct hand interactions, proper audio feedback can dramatically improve the user experience. 次の通信にオーディオをフィードバックを使用します。Use audio feedback to communicate the following:

  • 連絡先の開始:タッチの開始時にサウンドを再生します。Contact begin: Play sound when touch begins
  • 連絡先の終了:タッチ エンドでサウンドを再生します。Contact end: Play sound on touch end
  • グラブ開始:グラブの開始時にサウンドを再生します。Grab begin: Play sound when grab starts
  • 最後に取得:グラブ エンドでサウンドを再生します。Grab end: Play sound on grab end

音声コマンドVoice command

対話型のオブジェクトが別の相互作用オプションをサポートするために重要です。For any interactable objects, it is important to support alternative interaction options. 既定では、対話型である任意のオブジェクトの音声コマンドをサポートすることをお勧めします。In default, it is recommended to support voice command for any objects that are interactable. 探索可能性を向上させるのには、ホバー状態のツールヒントを行うことができます。To improve the discoverability, you can provide tooltip on hover state.

Tooltip for the voice command
音声コマンドのツールヒントTooltip for the voice command


対話型のすべてのオブジェクトの有効期限は簡単にすることを確認するにはユーザーによって影響を受けるをお勧め、最小サイズ (多くの場合、ビジュアルの角度を度数で測定)、ユーザーからファイルを配置する距離に基づく対話型を満たしていることを確認します。In order to ensure that all interactable objects can easily be touched by users we suggest ensuring the interactable meets a minimum size (often measured in degrees visual angle) based on the distance it is placed from the user. ビジュアルの角度を度では、ユーザーと、オブジェクト間の距離に基づいておりは一定のまま、ターゲットの物理サイズがユーザーの変更からの距離として変更可能性があります。Degrees visual angle is based on the distance between the user and the object and stays constant, while the physical size of the target may change as the distance from the user changes. 確認してくださいと程度からの距離に基づくオブジェクトのために必要な物理サイズを決定するには、は、visual 角度は、電卓を使用して試してください。 http://elvers.us/perception/visualAngle/To determine the necessary physical size of an object based on the distance from a sure and the degree visual angle try using a calculator such as :http://elvers.us/perception/visualAngle/

対話型コンテンツの最小サイズの推奨事項を以下に示しますBelow are the recommendations for minimum sizes of interactable content

直接手の相互作用の目標サイズTarget size for direct hand interaction

距離Distance 表示角度Viewing angle サイズSize
45 cm45cm 2 度以上no smaller than 2° 1.6 × 1.6 cm1.6 x 1.6 cm

直接手の相互作用の目標サイズTarget size for direct hand interaction
直接手の相互作用の目標サイズTarget size for direct hand interaction

確認して 3.2 x 3.2 cm の大規模な最小サイズは、アイコンを格納するための十分な領域、可能性のあるいくつかテキスト * * をお勧めの直接の対話のボタンを作成する場合When creating buttons for direct interaction, we recommend a larger minimum size of 3.2 x 3.2 cm to ensure that there is enough space to contain an icon and potentially some text**

距離Distance 最小サイズMinimum size
45 cm45cm 3.2 x 3.2 cm3.2 x 3.2 cm

ターゲット サイズのボタンTarget size for the buttons
ターゲット サイズのボタンTarget size for the buttons

ターゲット光線の手の形のサイズまたは相互作用の視線Target size for hand ray or gaze interaction

距離Distance 表示角度Viewing angle サイズSize
2 分2m 1 度以上no smaller than 1° 3.5 x 3.5 cm3.5 x 3.5 cm

ターゲット光線の手の形のサイズまたは相互作用の視線Target size for hand ray or gaze interaction
ターゲット光線の手の形のサイズまたは相互作用の視線Target size for hand ray or gaze interaction

Mixed Reality Toolkit (MRTK) との対話型のオブジェクトを作成します。Creating interactable object with Mixed Reality Toolkit (MRTK)

Mixed Reality Toolkit 対話型のオブジェクトを作成する際に役立つプレハブ、一連の Unity のスクリプトを見つけることができます。In the Mixed Reality Toolkit, you can find the series of Unity scripts and prefabs that will help you create interactable objects. これらは、オブジェクトのさまざまな種類の入力の対話操作の状態に応答を使用することができます。You can use these to make objects respond to various types of input interaction states.

MixedRealityToolkit の標準的なシェーダーがなどのさまざまなオプションを提供します近接 lightを視覚的およびオーディオを作成できます。MixedRealityToolkit's Standard shader provides various options such as proximity light that helps you create visual and audio cues.

関連項目See also