本能的な操作の概要Introducing instinctual interactions

シンプルで本能的な操作の理念は、Mixed Reality プラットフォーム全体に織り込まれています。The philosophy of simple, instinctual interactions is interwoven throughout the Mixed Reality platform. アプリケーションのデザイナーや開発者が顧客に簡単で直感的な操作を提供できるように、3 つの手順を使用しています。We've taken three steps to ensure that application designers and developers can provide their customers with easy and intuitive interactions.

1 つ目として、センサーと入力のテクノロジ (自然言語入力に加え、手の追跡と視線追跡が含まれます) をまとめることで、シームレスなマルチモーダル操作モデルを実現できるようにしました。First, we've made sure our sensors and input technologies (which includes hand and eye tracking along with natural language input) combine into seamless, multimodal interaction models. 調査に基づくと、本能的なエクスペリエンスを作成する鍵となるのは、単一の入力をベースとせず、マルチモーダル フレームワーク内で設計や開発を行うことです。Based on our research, designing and developing within a multimodal framework, and not based on single inputs, is the key to creating instinctual experiences.

2 つ目として、多くの開発者が複数の HoloLens デバイス (HoloLens 2 と HoloLens (第 1 世代) 、HoloLens と VR など) をターゲットにしていることを認識しています。Second, we recognize that many developers target multiple HoloLens devices, such as HoloLens 2 and HoloLens (1st gen) or HoloLens and VR. このため、各デバイスで入力テクノロジが異なる場合でも、複数のデバイスで動作するように操作モデルを設計しています。So we've designed our interaction models to work across devices, even if the input technology varies on each device. たとえば、6DoF コントローラーによる Windows イマーシブ ヘッドセットの遠隔操作や、HoloLens 2 での遠隔操作は、どちらも同じアフォーダンスとパターンを使用しているため、エンド ユーザーが自然な感覚で操作できるクロス デバイス アプリケーションを簡単に開発できます。For example, far interaction on a Windows Immersive headset with a 6DoF controller and far interaction on a HoloLens 2 both use identical affordances and patterns, making it easy for cross-device application development that provides a natural feel to end-user interactions.

Mixed Reality (MR) では効果的、魅力的で魔法のような何千もの操作を実現できますが、ユーザーが成功と優れたエクスペリエンスを実感できる最善の方法は、アプリケーションで意図的にエンドツーエンドの単一操作モデルを使用することであることがわかっています。While we recognize that there are thousands of effective, engaging, and magical interactions possible in mixed reality (MR), we've found that intentionally employing a single interaction model, end-to-end, in an application is the best way to ensure users are successful and have a great experience. そのため、この操作ガイドに次の 3 つのことを含めました。To that end, we've included three things in this interaction guidance:

  • このガイダンスは、この 3 つの主要な操作モデルと、それぞれに必要なコンポーネントとパターンを中心とした構造になっています。This guidance is structured around the three primary interaction models and the components and patterns required for each.
  • このプラットフォームが提供するその他のメリットに関する補足的なガイダンスが含まれています。Supplemental guidance has been included about other benefits that our platform provides.
  • 開発シナリオに適した操作モデルの選択に役立つガイダンスも含まれています。Guidance has also been included to help select the appropriate interaction model for your development scenario.

マルチモーダル操作モデルMultimodal interaction models

調査とお客様からのフィードバックに基づき、3 つの主要な操作モデルは大半の Mixed Reality エクスペリエンスに適していることがわかりました。Based on our research as well as feedback from customers, we've discovered that three primary interaction models suit the majority of mixed reality experiences.

多くの点で、この操作モデルはユーザーのフローを完了するためのメンタル モデルです。In many ways, the interaction model is the user's mental model for completing their flows. これらの各操作モデルは、お客様の一連のニーズに合わせて最適化されています。Each of these interaction models is optimized for a set of customer needs. それぞれ便利で強力であり、それ自体で使用できます。Each is convenient, powerful, and usable in its own right.

次の表は、簡単な概要です。The chart below is a simplified overview. 各操作モデルを使用するための詳細情報は、イメージとコード サンプルを含むページにリンクしています。Detailed information for using each interaction model is linked in the pages below with images and code samples.


ModelModel シナリオ例Example scenarios 適した使用方法Fit ハードウェアHardware
手とモーション コントローラーHands and motion controllers 空間レイアウトやデザインなどの 3D 空間エクスペリエンス、コンテンツの操作、またはシミュレーション。3D spatial experiences, such as spatial layout and design, content manipulation, or simulation. 音声、視線追跡、頭の視線入力と組み合わせると、新しいユーザーに最適。Great for new users coupled with voice, eye tracking or head gaze. 習得が容易。Low learning curve. 手の追跡と 6 DoF コントローラーで一貫性のある UX。Consistent UX across hand tracking and 6DoF controllers. HoloLens 2HoloLens 2
イマーシブ ヘッドセットImmersive headsets
ハンズフリーHands-free 実地学習、メンテナンスなど、ユーザーの手が占有されている場合のコンテキスト対応のエクスペリエンス。Contextual experiences where a user's hands are occupied, such as on-the-job learning, and maintenance. いくらかの学習が必要。Some learning required. 手が使用できない場合、デバイスにより音声と自然言語が組み合わされる。If hands are unavailable, the device pairs well with voice and natural language. HoloLens 2HoloLens 2
HoloLens (第 1 世代)HoloLens (1st gen)
イマーシブ ヘッドセットImmersive headsets
頭の視線入力とコミットHead-gaze and commit 3D プレゼンテーション、デモなどのクリック スルー エクスペリエンス。Click-through experiences, e.g. 3D presentations, demos. 移動を除く HMD のトレーニングが必要。Requires training on HMDs but not on mobile. アクセシビリティ コントローラーに最適。Best for accessible controllers. HoloLens (第 1 世代) に最適。Best for HoloLens (1st gen). HoloLens 2HoloLens 2
HoloLens (第 1 世代)HoloLens (1st gen)
イマーシブ ヘッドセットImmersive headsets
モバイル ARMobile AR

ユーザー操作エクスペリエンスのギャップや欠陥をなくす最善の方法は、1 つのモデルのガイダンスに最初から最後まで従うことです。To ensure that there are no gaps or holes in the user interaction experience, it is best to follow the guidance for a single model from beginning to end.

設計と開発を高速化するために、各モデルの説明には、詳細な情報が含まれており、またイメージとコード サンプルへのリンクが含まれています。To speed up design and development, we've included detailed information and links to images and code samples within our coverage of each model.

次のセクションでは、これらの操作モデルからいずれかを選択して実装する手順について説明します。The sections below walk through the steps for selecting and implementing one of these interaction models.

このページでは、以下についてのガイダンスを理解することができます。By the end of this page, you will understand our guidance on:

  • 顧客の操作モデルの選択Choosing an interaction model for your customer
  • 操作モデルのガイダンスの使用Using the interaction model guidance
  • 操作モデル間の遷移Transitioning between interaction models
  • 次の手順の設計Design next steps

顧客の操作モデルを選択するChoose an interaction model for your customer

通常、開発者と作成者は、顧客が使用できる操作の種類を考慮しています。Typically, developers and creators have thought through the types of interactions that their customers can have. 顧客中心の設計アプローチを促進するために、次のガイダンスに従って、顧客向けに最適化された操作モデルを選択することをお勧めします。To encourage a customer-focused approach to design, we recommend the following guidance for selecting the interaction model that's optimized for your customer.

ガイダンスに従う理由Why follow this guidance?

  • 操作モデルは、物理効果、認識効果、直感性、学習性など、主観的および客観的な基準でテストされます。Our interaction models are tested for objective and subjective criteria, such as physical and cognitive effort, intuitiveness, and learnability.
  • 操作が異なるため、操作モデル間でビジュアルおよびオーディオ アフォーダンスやオブジェクトの動作が異なる可能性があります。Because interactions differ, visual and audio affordances and object behavior might differ between interaction models.
  • 複数の操作モデルの一部を組み合わせると、アフォーダンスが競合するリスクが発生します。たとえば、手の光線と頭の視線カーソルが同時に表示されると、ユーザーが混乱します。Combining parts of multiple interaction models creates the risk of competing affordances, such as simultaneous hand rays and a head-gaze cursor that can overwhelm and confuse users.

アフォーダンスと動作を最適化する例を操作モデルごとに示します。Here are some examples of how affordances and behaviors are optimized for each interaction model. 新しいユーザーが「システムが動作していることはどうすればわかりますか、何ができるかはどうすればわかりますか。自分がしたことをシステムが理解していることはどうすればわかりますか」といった同じような質問をしているのをよく見かけます。We often see new users have similar questions, such as "how do I know the system is working, how do I know what I can do, and how do I know if it understood what I just did?"


ModelModel 動作していることはどうすればわかりますか?How do I know it's working? 何ができるかはどうすればわかりますか?How do I know what I can do? 自分が何をしたかはどうすればわかりますか?How do I know what I just did?
手とモーション コントローラーHands and motion controllers 手のメッシュが見える、指先アフォーダンスまたは手やコントローラーの光線が見える。I see a hand mesh, I see a fingertip affordance or hand/controller rays. オブジェクトに手を近づけると、グラブ可能なハンドルや境界ボックスが表示される。I see grabbable handles or a bounding box appears when my hand is near an object. 音が聞こえ、グラブやリリースのアニメーションが見える。I hear audible tones and see animations on grab and release.
頭の視線入力とコミットHead-gaze and commit 視野の中央にカーソルが見える。I see a cursor in the center of my field of view. 特定のオブジェクトに重ねると、頭の視線カーソルの状態が変わる。The head-gaze cursor changes state when it's over certain objects. 行動すると、視覚または音声でわかる。I see/hear visual and audible confirmations when I take action.
ハンズフリー (頭の視線入力とドウェル)Hands-free (Head-gaze and dwell) 視野の中央にカーソルが見える。I see a cursor in the center of my field of view. インタラクティブなオブジェクトにドウェルすると、進行状況のインジケーターが見える。I see a progress indicator when I dwell on an interactable object. 行動すると、視覚または音声でわかる。I see/hear visual and audible confirmations when I take action.
ハンズフリー (音声コマンド)Hands-free (Voice commanding) リスニング インジケーターとシステムが聞いた音を表示するキャプションが見える。I see a listening indicator and captions that show what the system heard. 音声プロンプトとヒントが聞こえる。I get voice prompts and hints. 次のように言います。音声操作の項目When I say: "What can I say?" フィードバックが得られる。I see feedback. コマンドを与えると、視覚または音声でわかる。必要な場合は不明瞭解消用の UX が提供される。I see/ hear visual and audible confirmations when I give a command, or get disambiguation UX when needed.

ヘルプ チームが操作モデルを選択する際に使用している質問を次に示します。Below are the questions that we've found help teams select an interaction model:

  1. Q:ユーザーがホログラムにタッチして細かい操作を行うことはありますか?Q: Do my users want to touch holograms and perform precision holographic manipulations?

    A:その場合は、厳密なターゲット指定や、手またはモーション コントローラーによる操作を行うために、手とモーション コントローラーの操作モデルを確認します。A: If so, check out the Hands and motion controllers interaction model for precision targeting and manipulation with hands or motion controllers.

  2. Q:ユーザーは、現実世界で作業を行うために、手を空けておく必要がありますか?Q: Do my users need to keep their hands free for real-world tasks?

    A:その場合は、ハンズフリー操作モデルを確認します。このモデルは、視線入力または音声ベースの操作で優れたハンズフリー エクスペリエンスを提供します。A: If so, take a look at the Hands-free interaction model, which provides a great hands-free experience through gaze and voice-based interactions.

  3. Q:ユーザーには MR アプリケーションの操作を学習する時間はありますか? それとも、最低限の学習で操作を行う必要がありますか?Q: Do my users have time to learn interactions for my MR application or do they need the interactions with the lowest learning curve possible?

    A:ユーザーが手で操作を行うことができ、最低限の学習で最も直感的に操作を行いたい場合は、手とモーション コントローラーのモデルをお勧めします。A: We recommend the Hands and motion controllers model for the lowest learning curve and most intuitive interactions, as long as users are able to use their hands for interaction.

  4. Q:ユーザーがポイントしたり操作したりする際、モーション コントローラーを使用しますか?Q: Do my users use motion controllers for pointing and manipulation?

    A:手とモーション コントローラーのモデルには、モーション コントローラーを使用してすばらしいエクスペリエンスを実現するためのガイダンスがすべて含まれています。A: The Hands and motion controllers model includes all guidance for a great experience with motion controllers.

  5. Q:ユーザーは、アクセシビリティ コントローラーやクリッカーなどの一般的な Bluetooth コントローラーを使用しますか?Q: Do my users use an accessibility controller or a common Bluetooth controller, such as a clicker?

    A:すべての非追跡コントローラーには、頭の視線入力とコミットのモデルをお勧めします。A: We recommend the Head-gaze and commit model for all non-tracked controllers. ユーザーが単純な「ターゲット指定とコミット」機構によるエクスペリエンス全体を利用できるように設計されています。It's designed to allow a user to traverse an entire experience with a simple "target and commit" mechanism.

  6. Q:ユーザーは、UI コントロールが詰まったレイアウトを操作するのではなく、「クリックスルー」によってのみエクスペリエンスを進行させることができますか (たとえば、3D スライド ショーのような環境)?Q: Do my users only progress through an experience by "clicking through" (for example in a 3D slideshow-like environment), as opposed to navigating dense layouts of UI controls?

    A:ユーザーが多くの UI を制御する必要がない場合は、頭の視線入力とコミットを使うと、ターゲットの指定について悩むことなく学習できるオプションを提供できます。A: If users do not need to control a lot of UI, Head-gaze and commit offers a learnable option where users do not have to worry about targeting.

  7. Q:ユーザーは HoloLens (第 1 世代) と HoloLens 2/Windows Mixed Reality イマーシブ ヘッドセット (VR) の両方を使用しますか?Q: Do my users use both HoloLens (1st gen) and HoloLens 2/Windows Mixed Reality immersive headsets (VR)?

    A:頭の視線入力とコミットは HoloLens (第 1 世代) の操作モデルであるため、HoloLens (第 1 世代) をサポートする作成者は、ユーザーが HoloLens (第 1 世代) ヘッドセットを使用する可能性があるすべての機能やモードで、頭の視線入力とコミットを使用することをお勧めします。A: Since Head-gaze and commit is the interaction model for HoloLens (1st gen), we recommend that creators who support HoloLens (1st gen) use Head-gaze and commit for any features or modes that users will experience on a HoloLens (1st gen) headset. 複数の世代の HoloLens で優れたエクスペリエンスを作成する詳しい方法については、操作モデルの遷移について取り上げた次のセクションを参照してください。Please see the next section below on Transitioning interaction models for details on making a great experience for multiple HoloLens generations.

  8. Q:通常は移動可能 (広い領域をカバーする、またはスペース間を移動する) なユーザーと、1 つのスペースで作業することが多いユーザーを比較するとどうなりますか?Q: What about users who are generally mobile, covering a large space or moving between spaces, versus users who tend to work in a single space?

    A:どの操作モデルでも、これらのユーザーに対応できます。A: Any of the interaction models will work for these users.

注意

アプリの設計に特化したガイダンスは、近日中に公開します。More guidance specific to app design coming soon.

操作モデルの遷移Transitioning interaction models

複数の操作モデルが必要になるユース ケースもあります。There are also use cases that might require utilizing more than one interaction model. たとえば、アプリケーションの作成フローで手とモーション コントローラー操作モデルを利用しつつ、現場技術者向けにハンズフリー モードを使用する場合などです。For example, your application's creation flow utilizes the Hands and motion controllers interaction model, but you want to employ a hands-free mode for field technicians.

エクスペリエンスに複数の操作モデルが必要な場合、一方のモデルから他方のモデルに遷移するときに、多くのエンド ユーザーが困難を感じるので注意してください。特に、Mixed Reality を初めて使用するユーザーはそれが顕著です。If your experience does require multiple interaction models, keep in mind that many end users might encounter difficulty when transitioning from one model to another--especially for users who are new to mixed reality.

注意

開発者やデザイナーが使用できるガイダンスの作成に常に取り組んでおり、複数の MR 操作モデルを使用するための方法、タイミング、および理由についてお知らせしています。We're constantly working on more guidance that will be available to developers and designers, informing them about the how, when, and why for using multiple MR interaction models.

関連項目See also