本能的な操作の概要Introducing instinctual interactions

シンプルで本能的な操作の理念は、Microsoft Mixed Reality プラットフォーム全体に織り込まれています。The philosophy of simple, instinctual interactions is woven throughout the Microsoft Mixed Reality platform. アプリケーションのデザイナーや開発者が顧客向けに簡単で直感的な操作を提供できるように、3 つの手順を使用しています。We've taken three steps to ensure that application designers and developers can provide easy and intuitive interactions for their customers.

1 つ目として、驚くべきセンサーと、手の追跡、視線追跡、自然言語などの入力のテクノロジをまとめることで、シームレスなマルチモーダル操作モデルを実現できるようにしました。First, we've made sure our amazing sensors and input technology, including hand tracking, eye tracking, and natural language, combine into seamless multimodal interaction models. 調査に基づくと、本能的なエクスペリエンスを作成する鍵となるのは、単一の入力をベースとせず、マルチモーダルで設計や開発を行うことです。Based on our research, designing and developing multimodally -- and not based on single inputs -- is the key to creating instinctual experiences.

2 つ目として、HoloLens 2 と HoloLens (第 1 世代) のことを意味するのか、HoloLens と VR のことを意味するのかにはよらず、多くの開発者が複数のデバイスをターゲットにしていることを認識しています。Secondly, we recognize that many developers target multiple devices, whether that means HoloLens 2 and HoloLens (1st gen) or HoloLens and VR. そのため、デバイスによらない操作モデルを設計しています (入力テクノロジはデバイスによって異なります)。So we've designed our interaction models to work across devices (even if the input technology varies on each device). たとえば、6DOF コントローラーによる Windows イマーシブ ヘッドセットの遠隔インタラクションや、HoloLens 2 での遠隔インタラクションは、どちらも同じアフォーダンスとパターンを使用しているので、クロス デバイス アプリケーションで簡単に活用できるようになっています。For example, far interaction on a Windows Immersive headset with a 6DOF controller and far interaction on a HoloLens 2 both use the identical affordances and patterns, making it easy for cross-device applications. これは、開発者やデザイナーにとって便利であるだけでなく、エンドユーザーにとって自然です。Not only is this convenient for developers and designers, but it feels natural to end users.

最後に、MR では効果的、魅力的で魔法のような何千もの操作が実現できますが、ユーザーが成功と優れたエクスペリエンスを実感できる最善の方法は、アプリケーションで意図的にエンドツーエンドの単一操作モデルを使用することであることがわかっています。Lastly, while we recognize that there are thousands of effective, engaging, and magical interactions possible in MR, we have found that intentionally employing a single interaction model end to end in an application is the best way to ensure users are successful and have a great experience. そのため、この操作ガイドに次の 3 つのことを含めました。To that end, we've included three things in this interaction guidance:

  • このガイダンスは、この 3 つの主要な操作モデルと、それぞれに必要なコンポーネントとパターンを中心とした構造にしています。We've structured this guidance around the three primary interaction models and the components and patterns required for each
  • このプラットフォームが提供するその他のメリットに関する補足的なガイダンスを含めます。We've included supplemental guidance on other benefits that our platform provides
  • シナリオに適した操作モデルの選択に役立つガイダンスを含めます。We've included guidance to help select the appropriate interaction model for your scenario

マルチモーダル操作モデルMultimodal interaction models

これまで顧客とともに調査や作業を行ってきた結果から、3 つの主要な操作モデルは大半の Mixed Reality エクスペリエンスに適したものであることがわかりました。Based on our research and work with customers to date, we've discovered that three primary interaction models suit the majority of mixed reality experiences.

多くの点で、この操作モデルはユーザーのフローを完了するためのメンタル モデルです。In many ways, the interaction model is the user's mental model for completing their flows. 各操作モデルは、一連の顧客ニーズのために最適化されていて、それぞれが便利な強力かつそれ自体で使用できます。Each of these interaction models is optimized for a set of customer needs, and each is convenient, powerful, and usable in its own right.

次の表は、簡単な概要です。The chart below is a simplified overview. 各操作モデルを使用するための詳細情報は、イメージとコード サンプルを含むページにリンクしています。Detailed information for using each interaction model is linked in the pages below with images and code samples.


ModelModel シナリオ例Example scenarios 適した使用方法Fit ハードウェアHardware
手とモーション コントローラーHands and motion controllers 空間レイアウトやデザインなどの 3D 空間エクスペリエンス、コンテンツの操作、またはシミュレーション。3D spatial experiences, e.g. spatial layout and design, content manipulation, or simulation. 音声、視線追跡、頭の視線入力と組み合わせると、新しいユーザーに最適。Great for new users, coupled with voice, eye tracking or head gaze. 習得が容易。Low learning curve. 手の追跡と 6 DoF コントローラーで一貫性のある UX。Consistent UX across hand tracking and 6 DoF controllers. HoloLens 2HoloLens 2
イマーシブ ヘッドセットImmersive headsets
ハンズフリーHands-free 仕事を通じた学習、メンテナンスなど、ユーザーの手が占有されている場合のコンテキスト対応のエクスペリエンス。Contextual experiences where a user's hands are occupied, e.g. on-the-job learning, maintenance. いくらかの学習が必要。Some learning required. 手が使えない場合、音声や自然言語と組み合わせる。If hands are unavailable pairs well with voice and natural language. HoloLens 2HoloLens 2
HoloLens (第 1 世代)HoloLens (1st gen)
イマーシブ ヘッドセットImmersive headsets
頭の視線入力とコミットHead-gaze and commit 3D プレゼンテーション、デモなどのクリック スルー エクスペリエンス。Click-through experiences, e.g. 3D presentations, demos. 移動を除く HMD のトレーニングが必要。Requires training on HMDs but not on mobile. アクセシビリティ コントローラーに最適。Best for accessible controllers. HoloLens (第 1 世代) に最適。Best for HoloLens (1st gen). HoloLens 2HoloLens 2
HoloLens (第 1 世代)HoloLens (1st gen)
イマーシブ ヘッドセットImmersive headsets
モバイル ARMobile AR

エクスペリエンスの操作でギャップや穴をなくす最善の方法は、1 つのモデルのガイダンスに最初から最後まで従うことです。The best way to ensure there are no gaps or holes in the interaction for your experience is to follow the guidance for a single model from beginning to end.

設計と開発を高速化するため、各モデルの説明には、詳細な情報とイメージやコード サンプルへのリンクを含めています。To speed design and development, we've included detailed information and links to images and code samples within our coverage of each model.

まず、以下のセクションでは、これらの操作モデルからいずれかを選択して実装する手順について説明します。But first, the sections below walk through the steps of selecting and implementing one of these interaction models.

このページでは、以下についてのガイダンスを理解することができます。By the end of this page, you will understand our guidance on:

  • 顧客の操作モデルの選択Choosing an interaction model for your customer
  • 操作モデルのガイダンスの使用Using the interaction model guidance
  • 操作モデル間の遷移Transitioning between interaction models
  • 次の手順の設計Design next steps

顧客の操作モデルを選択するChoose an interaction model for your customer

ほとんどの場合、開発者や作成者は、ユーザーに提供する操作エクスペリエンスの種類について、既にいくつかのアイデアを持っています。Most likely, developers and creators also already have some ideas in mind of the kinds of interaction experience they want their users to have. 顧客中心の設計アプローチをお勧めするために、以下のガイダンスに従って、顧客向けに最適化された操作モデルを選択することをお勧めします。To encourage a customer-focused approach to design, we recommend following the guidance below to select the interaction model that's optimized for your customer.

ガイダンスに従う理由Why follow this guidance?

  • 操作モデルは、物理効果、認識効果、直感性、学習性など、主観的および客観的な基準でテストされます。Our interaction models are tested for objective and subjective criteria such as physical and cognitive effort, intuitiveness, and learnability.
  • 操作が異なるため、操作モデル間でビジュアルおよびオーディオ アフォーダンスやオブジェクトの動作は異なる可能性があります。Because interaction differs, visual and audio affordances and object behavior may also differ between the interaction models.
  • 複数の操作モデルの一部を組み合わせると、アフォーダンスが競合するリスクが生まれます。たとえば、手の光線と頭の視線入力のカーソルが同時に表示されると、ユーザーが混乱します。Combining parts of multiple interaction models together creates the risk of competing affordances, such as simultaneous hand rays and a head-gaze cursor, which can overwhelm and confuse users.

アフォーダンスと動作を最適化する例を操作モデルごとに示します。Here are some examples of how affordances and behaviors are optimized for each interaction model. 新しいユーザーが「システムが動作していることはどうすればわかりますか、何ができるかはどうすればわかりますか。自分がしたことをシステムが理解していることはどうすればわかりますか」といった同じような質問をしているのをよく見かけます。We often see new users have similar questions, such as "how do I know the system is working, how do I know what I can do, and how do I know if it understood what I just did?"


ModelModel 動作していることはどうすればわかりますか?How do I know it's working? 何ができるかはどうすればわかりますか?How do I know what I can do? 自分が何をしたかはどうすればわかりますか?How do I know what I just did?
手とモーション コントローラーHands and motion controllers 手のメッシュが見える、指先アフォーダンスまたは手やコントローラーの光線が見える。I see a hand mesh, I see a fingertip affordance or hand/ controller rays. 手を近づけると、グラブ可能なハンドルや境界ボックスが表示される。I see grabbable handles or a bounding box appear when my hand is near. 音が聞こえ、グラブやリリースのアニメーションが見える。I hear audible tones and see animations on grab and release.
頭の視線入力とコミットHead-gaze and commit 視野の中央にカーソルが見える。I see a cursor in the center of my field of view. 特定のオブジェクトに重ねると、頭の視線入力カーソルの状態が変わる。The head-gaze cursor changes state when over certain objects. 行動を行うと、視覚または音声でわかる。I see/ hear visual and audible confirmations when I take action.
ハンズフリー (頭の視線入力とドウェル)Hands-free (Head-gaze and dwell) 視野の中央にカーソルが見える。I see a cursor in the center of my field of view. インタラクティブなオブジェクトにドウェルすると、進行状況のインジケーターが見える。I see a progress indicator when I dwell on an interactable object. 行動を行うと、視覚または音声でわかる。I see/ hear visual and audible confirmations when I take action.
ハンズフリー (音声コマンド)Hands-free (Voice commanding) リスニング インジケーターとシステムが聞いた音を表示するキャプションが見える。I see a listening indicator and captions that show what the system heard. 音声プロンプトとヒントが聞こえる。I get voice prompts and hints. 「何を言えますか?」と言うとWhen I say "what can I say?" フィードバックが得られる。I see feedback. コマンドを与えると、視覚または音声でわかる。必要な場合は不明瞭解消用の UX が提供される。I see/ hear visual and audible confirmations when I give a command, or get disambiguation UX when needed.

ヘルプ チームが操作モデルを選択する際に使用している質問を次に示します。Below are the questions that we've found help teams select an interaction model:

  1. Q:ユーザーがホログラムにタッチして細かい操作を行うことはありますか?Q: Do my users want to touch holograms and perform precision holographic manipulations?

    A:その場合は、厳密なターゲット指定や、手またはモーション コントローラーによる操作を行うために、手とツールの操作モデルを確認します。A: If so, check out the Hands and tools interaction model for precision targeting and manipulation with hands or motion controllers.

  2. Q:ユーザーは、現実世界でタスクを行うために、手を空けておく必要がありますか?Q: Do my users need to keep their hands free, for real-world tasks?

    A:その場合は、ハンズフリー操作モデルを確認します。このモデルは、視線入力または音声ベースの操作で優れたハンズフリー エクスペリエンスを提供します。A: If so, take a look at the Hands-free interaction model, which provides a great hands-free experience through gaze- and voice-based interactions.

  3. Q:ユーザーには Mixed Reality アプリケーションの操作を学習する時間はありますか? それとも、最低限の学習で操作を行う必要がありますか?Q: Do my users have time to learn interactions for my mixed reality application, or do they need the interactions with the lowest learning curve possible?

    A:ユーザーが手で操作を行うことができ、最低限の学習で最も直感的に操作を行いたい場合は、手とツールのモデルをお勧めします。A: We recommend the Hands and Tools model for the lowest learning curve and most intuitive interactions, as long as users are able to use their hands for interaction.

  4. Q:ユーザーがポイントしたり操作したりする際、モーション コントローラーを使用しますか?Q: Do my users use motion controllers for pointing and manipulation?

    A:手とツールのモデルには、モーション コントローラーを使ってすばらしいエクスペリエンスを実現するためのガイダンスがすべて含まれています。A: The Hands and tools model includes all guidance for a great experience with motion controllers.

  5. Q:ユーザーは、アクセシビリティ コントローラーやクリッカーなどの一般的な Bluetooth コントローラーを使用しますか?Q: Do my users use an accessibility controller or a common Bluetooth controller, such as a clicker?

    A:すべての非追跡コントローラーには、頭の視線入力とコミットのモデルをお勧めします。A: We recommend the Head-gaze and Commit model for all non-tracked controllers. ユーザーが単純な「ターゲット指定とコミット」機構によるエクスペリエンス全体を利用できるように設計されています。It's designed to allow a user to traverse an entire experience with a simple "target and commit" mechanic.

  6. Q:ユーザーは、UI コントロールが詰まったレイアウトを操作するのではなく、「クリックスルー」によってのみエクスペリエンスを進行させることができますか (たとえば、3D スライド ショーのような環境) ?Q: Do my users only progress through an experience by "clicking through" (for example in a 3d slideshow-like environment), as opposed to navigating dense layouts of UI controls?

    A:ユーザーが多くの UI を制御する必要がない場合は、頭の視線入力とコミットを使うと、ターゲットの指定について悩むことなく学習できるオプションを提供できます。A: If users do not need to control a lot of UI, Head-gaze and commit offers a learnable option where users do not have to worry about targeting.

  7. Q:ユーザーは HoloLens (第 1 世代) と HoloLens 2/Windows イマーシブ (VR ヘッドセット) の両方を使用しますか?Q: Do my users use both HoloLens (1st gen) and HoloLens 2/ Windows Immersive (VR headsets)

    A:頭の視点入力とコミットは HoloLens (第 1 世代) の操作モデルであるため、HoloLens (第 1 世代) をサポートする作成者は、ユーザーが HoloLens (第 1 世代) ヘッドセットを使う可能性があるすべての機能やモードで、頭の視線入力とコミットを使用することをお勧めします。A: Since Head-gaze and commit is the interaction model for HoloLens (1st gen), we recommend that creators who support HoloLens (1st gen) use Head-gaze and commit for any features or modes that users may experience on a HoloLens (1st gen) headset. 複数の世代の HoloLens で優れたエクスペリエンスを作成する詳しい方法については、操作モデルの遷移について取り上げた次のセクションを参照してください。Please see the next section below on Transitioning interaction models for details on making a great experience for multiple HoloLens generations.

  8. Q:通常は移動可能 (広い領域をカバーする、またはスペース間を移動する) なユーザーと、1 つのスペースで作業することが多いユーザーを比較するとどうなりますか?Q: What about for users who are generally mobile (covering a large space or moving between spaces), versus users who tend to work in a single space?

    A:どの操作モデルでも、これらのユーザーに対応できます。A: Any of the interaction models will work for these users.

注意

アプリの設計に特化したガイダンスは、近日中に公開します。More guidance specific to app design coming soon.

操作モデルの遷移Transition interaction models

複数の操作モデルが必要になるユース ケースもあります。There are also cases where your use cases may require that utilizing more than one interaction model. たとえば、アプリの「作成フロー」で手とモーション コントローラー操作モデルを利用しつつ、現場技術者向けにハンズフリー モードを使う場合などです。For example, your app's "creation flow" utilizes the Hands and motion controllers interaction model, but you want to employ a Hands-free mode for field technicians.

エクスペリエンスに複数の操作モデルが必要な場合、ある操作モデルから別の操作モデルに遷移する際に、多くのエンドユーザーが困難を感じることがわかっています。特に、Mixed Reality を初めて使用するユーザーはそれが顕著です。If your experience does require multiple interaction models, we've found that many end users may encounter difficulty transitioning from one model to another -- especially users who are new to mixed reality.

注意

デザイナーや開発者が MR で難しくなる可能性がある選択を行う際に役立つように、現在、複数の操作モデルを使用するための詳細ガイダンスの作成を進めています。To help guide designers and developers through choices that can be difficult in MR, we're working on more guidance for using multiple interaction models.

関連項目See also