高度な HoloLens エミュレーターと Mixed Reality Simulator の入力
HoloLens エミュレーターまたは Windows Mixed Reality シミュレーターでほとんどのエミュレーター ユーザーが使用するのは、基本的な入力コントロールのみです。 以下の情報は、より複雑な種類の入力をシミュレートする必要性を感じている、詳しい知識のあるユーザーを対象としています。
概念
HoloLens エミュレーターと Windows Mixed Reality シミュレーターに対する仮想入力を制御するにはまず、いくつかの概念を理解しておく必要があります。
モーションとは、シーン内の物体の位置と向きを制御、変更することを指します。 制御対象物に対するモーションは、3 つの軸に沿った移動と回転の両方によって制御します。
- ヨー: 上下を軸とした左右方向の回転です。
- ピッチ: 左右を軸とした上下方向の回転です。
- ロール: 前後を軸にした左右方向の回転です。
- X: 左右に移動します。
- Y: 上下に移動します。
- Z: 前後に移動します。
ジェスチャーとモーション コントローラーの入力は、物理デバイスと密接にマッピングされています。
- アクション: 人差し指を親指に押し付けたりコントローラーのアクション ボタンを引いたりする動作をシミュレートします。 たとえば、アクション入力を使用して、エアタップ ジェスチャーをシミュレートしたり、コンテンツをスクロールしたり、長押ししたりすることができます。
- ブルーム (システム) ジェスチャーまたはホーム: HoloLens のブルーム (システム) ジェスチャーまたはコントローラーのホーム ボタンは、シェルに戻ったりシステム アクションを発生させたりするときに使用します。
HoloLens 2 では、手の表現が豊かになりました。 両手は、トラッキングの対象 (または対象外) にしたり、ジェスチャーの発動に使用したりできることに加え、手に適合した多関節スケルトン モデルが新たに採用され、開発者に公開されています。 このスケルトン モデルには、片手につき 26 のトラッキング ポイントがあります。
- ジョイント (関節): トラッキングされる特定の手の 20 の追跡位置の 1 つ。3D 空間上の点に関連付けられます。
- ポーズ (姿勢): トラッキングされる手のすべての (全部で 26 ある) 関節の動作を総合的に組み合わせたもの。
現在のエミュレーターでは、個々の関節位置を直接制御する機構は公開されていませんが、シミュレーション API を通じてそれらを設定することはできます。 有益な機能を果たす代表的なポーズが用意されており、それらをエミュレーターで切り替えることができます。
擬似センサーの入力状態を制御することもできます。
- リセット: すべての疑似センサーをその既定値に戻します。 HoloLens 2 エミュレーター以降では、リセットの範囲を片方または両手にすることができます。 目的の手を作動させるには、修飾キーまたはボタンを使用します (左右 Alt キー、ゲーム パッドの左右バンパー)。
- トラッキング: 位置トラッキング モード (下記) を順次切り替えます。
- 既定: システムからの要求に応じて最適なトラッキング モードを OS が判断します。
- 向き: システムからの要求に関係なく、向きに限定したトラッキングを強制します。
- 位置: システムからの要求に関係なく、位置トラッキングを強制します。
入力の種類
以下の表は、それぞれの種類の入力と、キーボード、マウス、Xbox コントローラーとの対応関係を示したものです。 入力の種類との対応関係は、入力コントロール モードによって異なります。 入力コントロール モードの詳細については、このドキュメントの中で後述します。
| 入力 | キーボード | マウス | Xbox コントローラー |
|---|---|---|---|
| Yaw | ←または→ | 左右ドラッグ | 右スティック左右 |
| [Pitch] (傾斜) | ↑または↓ | 上下にドラッグ | 右スティック上下 |
| Roll | Q または E | 方向パッド左右 | |
| X | A または D | 左スティック左右 | |
| Y | PageUp または PageDown | 方向パッド上下 | |
| Z | W または S | 左サムスティック上下 | |
| アクション | Enter または Space | 右方向ボタン | A ボタンまたはいずれかのトリガー |
| ブルームまたはシステム | F2 または Windows キー | B ボタン | |
| コントローラー グリップ ボタンまたは手を握る | G | ||
| コントローラー メニュー ボタン | M | ||
| コントローラー タッチパッドに触れる | U | ||
| コントローラー タッチパッドを押す | P | ||
| コントローラーのサムスティックを押す | K | ||
| 左コントローラー トラッキング状態 | F9 | ||
| 右コントローラー トラッキング状態 | F10 | ||
| 手を "閉じる" ポーズ | 7 | ||
| 手を "開く" ポーズ (既定) | 8 | ||
| 手で "指さす" ポーズ | 9 | ||
| 手で "ピンチ" するポーズ | 0 | ||
| Reset | Escape キー | スタート ボタン | |
| 追跡 | T または F3 | X ボタン |
注: ハンド ターゲティング モディファイアーを使用すれば、コントローラー ボタンのターゲットを指定、たとえば片方の手 (コントローラー) に限定することができます。
ターゲット
以上に述べた入力の概念の中には、それぞれ独立したものも存在します。 アクション、ブルーム (システム)、リセット、トラッキングは完結した概念であり、その他のターゲティング用モディファイアーは不要で、またそれらによって影響を受けることもありません。 一方、複数のターゲットのうちいずれか 1 つにしか適用できない概念もあります。 コマンドの適用先として意図したターゲットを指定する方法は既に紹介しました。 すべての場合において、どのオブジェクトをターゲットにするかは、UI またはキーボードの押下によって指定できます。 一部のケースでは、Xbox コントローラーで直接指定することもできます。
ターゲティングに使用するオプションと、それらをアクティブにする方法を次の表で説明します。
| Object | キーボード モディファイアー | コントローラー モディファイアー | エミュレーター UI モディファイアー |
|---|---|---|---|
| 本文 | (既定値)。 | (既定値)。 | (既定値)。 |
| Head | H キー長押し | (使用不可) | (使用不可) |
| 左手またはコントローラー | 左 Alt ボタン長押し | 左ショルダー ボタン長押し | 画鋲 (左手) |
| 右手またはコントローラー | 右 Alt ボタン長押し | 右ショルダー ボタン長押し | 画鋲 (右手) |
| 目 | Y キー長押し | (使用不可) | 画鋲 (目) |
以下の表は、それぞれのターゲット モディファイアーと主要な各動作入力の概念との対応関係を示したものです。
| 入力 | 既定 (体) | 手またはコントローラー (Alt キー長押し、ゲーム パッド ショルダーボタン長押し、UI 画鋲切り替え) | 頭 (H キー長押し) | 目 (Y キー長押しまたは UI 画鋲切り替え) |
|---|---|---|---|---|
| Yaw | 体を左右に向ける | 手を左右に動かす | 頭を左右に向ける | 視線を左右に動かす |
| [Pitch] (傾斜) | 頭を上下に振る | 手を上下に動かす | 頭を上下に振る | 視線を上下に動かす |
| Roll | 頭を左右に回す | 頭を左右に回す | (アクションなし) | |
| X | 体を左右にスライドさせる | 手またはコントローラーを左右に動かす | 頭を左右に向ける | (アクションなし) |
| Y | 体を上下に動かす | 手またはコントローラーを上下に動かす | 頭を上下に振る | (アクションなし) |
| Z | 体を前後に動かす | 手またはコントローラーを前後に動かす | 頭を上下に振る | (アクションなし) |
アプリの制御
以下の表は、日常的な使用に推奨される制御をまとめたものです。
| Operation | キーボードとマウス | コントローラー |
|---|---|---|
| X (体) | A または D | 左スティック左右 |
| Y (体) | PageUp または PageDown | 方向パッド上下 |
| Z (体) | W または S | 左サムスティック上下 |
| ヨー (体) | マウスを左右にドラッグ | 右スティック左右 |
| ヨー (頭) | H キーを押したままマウスを左右にドラッグ | H (キーボード) + 右サムスティック左右 |
| ピッチ (頭) | マウスを上下にドラッグ | 右スティック上下 |
| 頭を回す | Q または E | 方向パッド左右 |
| X (手またはコントローラー) | Alt + A または Alt + D | ショルダー + 左サムスティック左右 |
| Y (手またはコントローラー) | Alt + PageUp または Alt + PageDown | ショルダー + 方向パッド上下 |
| Z (手またはコントローラー) | Alt + W または Alt + S | ショルダー + 左サムスティック上下 |
| ヨー (手またはコントローラー) | Alt キーを押したままマウスを左右にドラッグ | ショルダー + 右サムスティック左右 |
| ピッチ (手またはコントローラー) | Alt キーを押したままマウスを上下にドラッグ | ショルダー + 右サムスティック上下 |
| ロール (手またはコントローラー) | Alt + Q または Alt + E | ショルダー + 方向パッド左右 |
| アクション | マウスの右ボタン | トリガー |
| ブルーム、システム、ホーム | F2 または Windows キー | B ボタン |
| Reset | エスケープ | スタート ボタン |
| 追跡 | T | X ボタン |
| スクロール | Alt + マウスの右ボタン + マウスの上下ドラッグ | ショルダー + トリガー + 右サムスティック上下 |
| 速く移動または回転 | 左右 Shift キー | 右サムスティック長押し |
| ゆっくり移動または回転 | 左右 Ctrl キー | 左サムスティック長押し |
HoloLens 2 エミュレーターで Windows Mixed Reality イマーシブ ヘッドセットとモーション コントローラーを使用する
HoloLens 2 エミュレーターで Windows Mixed Reality イマーシブ ヘッドセットを使用しているときは、移動と回転が自動的にヘッドセットの移動と回転にマッピングされます。 モーション コントローラーの位置と向きは、エミュレーターにおける手の位置と向きに自動的にマッピングされます。 以下の表は、モーション コントローラーを使用したときに別途利用できるアクションの一覧です。
Note
ヘッドセットを使用する場合、標準キーボード、マウス、ゲーム パッド コントロールは自動的に無視されます。
| Operation | アクション | メモ |
|---|---|---|
| X (体) | サムスティック左右 | |
| Z (体) | サムスティック前後 | |
| Y (体) | キーボードの PageUp と PageDown | 必ず Windows Mixed Reality にフォーカスを設定してください。 フォーカスが Windows デスクトップにある場合は、Win + Y キーを押すと、Windows Mixed Reality にフォーカスが戻ります。 |
| 視線左右 | 方向パッド左右 | |
| 視線上下 | 方向パッド上下 | |
| タップ | トリガー | |
| ピンチ (つかむ) | グリップ ボタン | |
| システム ジェスチャ | メニュー ボタン | |
| 位置のリセット | サムスティック クリック |
認識シミュレーション コントロール パネルのキーボード ショートカット
認識シミュレーション コントロール パネルにアクセスし、以下のキーボード ショートカットで PC 入力デバイスを有効または無効にすることができます。
| Operation | ショートカット | 説明と備考 |
|---|---|---|
| [シミュレーションにキーボードを使用] を切り替える | F4 | オフにした場合、キーボード入力が HoloLens または Windows Mixed Reality アプリケーションに渡されます。 |
| [シミュレーションにマウスを使用] を切り替える | F5 | オフにした場合、マウス入力が Mixed Reality 環境に渡されます (Windows Mixed Reality のみ)。 |
| [シミュレーションにゲーム パッドを使用] を切り替える | F6 | オフにした場合、ゲーム パッド入力はシミュレーションによって無視されます。 |
| コントロール パネルの表示と非表示を切り替える | F7 | |
| コントロール パネルにキーボード フォーカスを設定する | F8 | パネルが現在表示されていない場合、最初にパネルが表示されます。 |
| エミュレーターまたは Mixed Reality ポータル ウィンドウにパネルをドッキングするか、またはパネルのドッキングを解除する | F9 | ドッキング解除時にウィンドウが閉じていた場合は、ドッキングされて非表示になります。 |