HoloLens のエミュレーターと Mixed Reality シミュレーターの高度な入力Advanced HoloLens Emulator and Mixed Reality Simulator input

ほとんどのエミュレーターのユーザーがのみの基本的な入力コントロールを使用する必要があります、 HoloLens のエミュレーターまたはWindows Mixed Reality シミュレーターします。Most emulator users will only need to use the basic input controls for the HoloLens Emulator or the Windows Mixed Reality simulator. 以下の詳細より複雑な種類の入力をシミュレートする必要がある高度なユーザーはいます。The details below are for advanced users who have found a need to simulate more complex types of input.

概念Concepts

HoloLens のエミュレーターおよび Windows Mixed Reality シミュレーターへの仮想入力を制御する開始するには、まずいくつかの概念を理解する必要があります。To get started controlling the virtual input to the HoloLens Emulator and Windows Mixed Reality simulator, you should first understand a few concepts.

モーションは、制御して、位置と向きのシーンで何らかの変更を表します。Motion refers to controlling and changing the position and orientation of something in the scene. 制御可能なオブジェクトを対象となるは、モーションは回転と 3 つの軸に沿った変換 (移動) の両方で制御されます。For a targeted controllable object, motion is controlled with both rotation and translation (movement) along three axes.

  • ヨー:左または右に有効にします。Yaw: Turn left or right.
  • ピッチ:アップまたはスケール ダウンを有効にします。Pitch: Turn up or down.
  • ロールバック:サイド バイ サイドをロールバックします。Roll: Roll side-to-side.
  • X:左または右に移動します。X: Move left or right.
  • Y:上下に移動します。Y: Move up or down.
  • Z:前方または後方に移動します。Z: Move forward or backward.

ジェスチャとアニメーション コント ローラーの入力は、方法に密接にマップする、物理デバイス。Gesture and motion controller input are mapped closely to how they physical devices:

  • アクション:これはつまみを人差し指を押すか、コント ローラーのアクション ボタンのプルの操作をシミュレートします。Action: This simulates the action of pressing the forefinger to the thumb or pulling the action button on a controller. たとえば、アクションの入力は、コンテンツ、およびプレス アンド ホールドをスクロール、エア タップ ジェスチャをシミュレートするために使用できます。For example, the Action input can be used to simulate the air-tap gesture, to scroll through content, and to press-and-hold.
  • 「Bloom/System ジェスチャや自宅:HoloLens のブルーム/システム ジェスチャまたはコント ローラーの [ホーム] ボタンは、システムの操作を実行して、シェルに戻るに使用されます。Bloom/System gesture or Home: The HoloLens bloom/system gesture or a controller's Home button is used to return to the shell and to perform system actions.

手では、HoloLens 2 に豊富な reprresentation があります。Hands have a rich reprresentation in HoloLens 2. 手には、追跡/未追跡との使用可能な運転のジェスチャだけでなく、思い起こさせますスケルトン モデルそれらに合わせるし、開発者に公開されているようになりましたがあります。In addition to being tracked/not tracked, and usable for driving gestures, hands now have an articulated skeleton model fit to them and exposed to the developer. これには、各手の形で 26 の追跡ポイントが導入されています。This introduces 26 tracked points on each hand.

  • 共同:指定した履歴手の形の 20 の追跡位置の 1 つ。Joint: One of twenty tracked positions for a given tracked hand. ポイントが関連付けられている 3d 空間には。This will have a point is 3d space associated with it.
  • 発生し得る:追跡対象の手の関節のすべての完全なコレクション。Pose: A complete collection of all of the Joints in a tracked hand. この時点では、これは 26 ジョイントのコレクションです。At this time, this is a collection of 26 Joints.

この時点で公開していませんエミュレーターのユーザー インターフェイスを通じて個別に各共同の立場を直接制御もシミュレーション API を使用して設定することがあります。At this time, we do not expose direct control of each joint position individually through the emulator user interface, though you may set them through the simulation API. 代わりに、一連のエミュレーターを使用するとの間で切り替える便利なの代表的なことがあります。Rather, we have a set of useful representative poses that the emulator allows you to toggle between.

入力のシミュレートされたセンサーの状態を制御することもできます。You can also control the state of simulated sensor input:

  • リセット:これは、既定値にすべてのシミュレートされたセンサーを返します。Reset: This will return all simulated sensors to their default values. 以降、HoloLens 2 エミュレーターでは、リセットを対象にできます手の 1 つまたは両方を適切な修飾子キーまたはボタン (左または右 alt キーを押し、または、ゲームパッドの左側または右側バンパー) を使用して目的の hand(s) 魅力的で。Starting with the HoloLens 2 Emulator, a reset can be scoped to one or both hands by engaging the desired hand(s) using the appropriate modifier key(s) or button(s) (Left and/or Right Alt, or the left and/or right bumper on the gamepad).
  • 追跡:位置指定の追跡モードを切り替えます。Tracking: Cycles through the positional tracking modes. たとえば、次のようなアニメーションや効果を作成できます。This includes:
    • 既定:OS は、システムの要求に基づいて最適な追跡モードを選択します。Default: The OS chooses the best tracking mode based upon the requests made of the system.
    • 印刷の向き:強制的に方向専用の追跡、システムの要求に関係なく。Orientation: Forces Orientation-only tracking, regardless of the requests made of the system.
    • 位置指定:システムの要求に関係なく、強制的に位置指定の追跡が行われます。Positional: Forces Positional tracking, regardless of the requests made of the system.

入力の種類Types of input

表示の各型の次の表では、キーボード、マウス、および Xbox コント ローラーにマップを入力します。The following table shows how each type of input maps to the keyboard, mouse, and Xbox controller. 各種類には、入力コントロール モードに応じて別のマッピング入力コントロールのモードの詳細については、このドキュメントの後半で提供されます。Each type has a different mapping depending on the input control mode; more information on input control modes is provided later in this document.

キーボードKeyboard マウスMouse Xbox コント ローラーXbox controller
YawYaw 左/右矢印Left / right arrows 左/右にドラッグしますDrag Left / Right 左/右の右スティックRight thumbstick left / right
PitchPitch 上/下矢印Up / down arrows 上下にドラッグしますDrag up / down 右のスティック アップ/ダウンRight thumbstick up / down
RollRoll Q/電子メールQ / E DPad 左/右DPad left / right
xX A/DA / D 左のサムスティック左/右Left thumbstick left / right
YY ページ上に/1 ページ下にPage up / page down DPad アップ/ダウンDPad up / down
ZZ W/秒W / S 左のサムスティック アップ/ダウンLeft thumbstick up / down
アクションAction Enter キーか spaceEnter or space 右側のボタンRight button ボタンまたはいずれかのトリガーA button or either trigger
「Bloom/システムBloom/System F2 または Windows キーF2 or Windows key B ボタンB button
コント ローラーのグリップのボタンController grip button GG
コント ローラーのメニュー ボタンController menu button MM
コント ローラー タッチパッド タッチController touchpad touch UU
コント ローラー タッチパッド キーを押しますController touchpad press PP
コント ローラー スティック キーを押しますController thumbstick press KK
左側のコント ローラーの状態を追跡Left controller tracking state F9F9
適切なコント ローラーの状態の追跡Right controller tracking state F10F10
[閉じる] の姿勢を手Hand 'Close' Pose 77
"Open"姿勢 (既定値) を渡すHand 'Open' Pose (default) 88
手の形「指す」姿勢Hand 'Point' Pose 99
手の形 '縮小' 姿勢Hand 'Pinch' Pose 00
リセットReset Esc キーEscape key [スタート] ボタンStart button
TrackingTracking T または F3T or F3 X ボタンX button

注:コント ローラー ボタンを 1 つの hand/コント ローラーまたはその他の修飾子を対象として手のアイコンを使用して対象を指定できます。Note: The controller buttons can be targetted to one hand/controller or the other using the hand targeting modifiers.

ターゲット設定Targeting

上記の入力の概念のいくつかスタンド アロン独自です。Some of the above input concepts stand on their own. アクション、ブルーム/システム、リセット、および追跡は、完全な概念し、必要はありませんすべてを対象とする修飾子を追加して、影響を受けません。Action, Bloom/System, Reset, and Tracking are complete concepts, do not need, and are not affected by, any additional modifiers for targeting. ただし、残りの概念は、複数のターゲットのいずれかに適用できます。However, the remaining concepts can be applied to one of multiple targets. どれの対象に、コマンドを適用するターゲットを指定するための方法が導入されました。We have introduced ways for you to specify which intended target your command should be applied to. すべてのケースでは、UI またはオブジェクト targtet をキーボードの押下を指定することは。In all cases, it is possible to specify through the UI or through keyboard presses, which object to targtet. 場合によっては、xbox コント ローラーを直接指定することがもできます。In some cases, it is also possible to specify with the xbox controller directly.

次の表には、対象として、それぞれのアクティブ化する方法のオプションについて説明します。The following table describe the options for targeting, and the way to activate each of them.

オブジェクトObject キーボードの修飾子Keyboard Modifier コント ローラーの修飾子Controller Modifier エミュレーター UI の修飾子Emulator UI Modifier
本文Body (既定)(default) (既定)(default) (既定)(default)
ヘッドHead ホールド HHold H (使用できません)(Not available) (使用できません)(Not available)
左側にある/コント ローラーLeft Hand/Controller 左 Alt ボタンします。Hold Left Alt button 肩の左ボタンを押したままHold Left Shoulder Button 左側にあるプッシュピンLeft Hand pushpin
右側にある/コント ローラーRight Hand/Controller 左右の Alt ボタンします。Hold Right Alt Button 適切なショルダーにボタンを押したままHold Right Shoulder Button 右側にあるプッシュピンRight Hand pushpin
Eyes ホールド YHold Y (使用できません)(Not available) 目画鋲のアイコンEyes Pushpin

次の表は、各ターゲット修飾子が移動の入力の主要な概念のそれぞれをマップする方法を示しています。The following table shows how each target modifier maps each of the core movement input concepts

既定 (本文)Default (Body) (Alt キーを押しながら、保留ゲームパッド ショルダー ボタン、または UI プッシュピンの切り替え) コント ローラー/手Hand/controller (Hold Alt, hold gamepad shoulder button, or toggle UI pushpin) Head (押し H)Head (Hold H) 目 (Y の保持またはトグルの UI プッシュピン)Eyes (Hold Y or toggle UI pushpin)
YawYaw 左/右の本文を有効にします。Turn body left / right 左/右の手の形を移動します。Move hand left / right 左/右に頭を有効にします。Turn head left / right 目の視線入力左/右を検索します。Eye gaze looks left/right
PitchPitch Head アップ/ダウンを有効にします。Turn head up / down アップ/ダウン、手の形を移動します。Move hand up / down Head アップ/ダウンを有効にします。Turn head Up / down 目の視線入力アップ/スケール ダウンを検索します。Eye gaze looks up/down
RollRoll 左/右のロール ヘッドRoll head left / right 左/右のロール ヘッドRoll head left / right (操作不要)(No action)
xX 左/右の本文をスライドさせます。Slide body left / right 左/右/コント ローラーの手の形を移動します。Move hand/controller left / right 左/右に頭を有効にします。Turn head left / right (操作不要)(No Action)
YY 本文を上下に移動します。Move body up / down アップ/ダウン手/コント ローラーに移動します。Move hand/controller up / down Head アップ/ダウンを有効にします。Turn head up / down (操作不要)(No Action)
ZZ 本文前方/後方移動します。Move body forward / backward 手動/コント前方/後方移動します。Move hand/controller forward / backward Head アップ/ダウンを有効にします。Turn head up / down (操作不要)(No Action)

アプリを制御します。Controlling an app

日常の作業に対して、次のコントロールのセットが提案されます。The following set of controls is suggested for day-to-day use:

操作Operation キーボードとマウスKeyboard and mouse 管理者Controller
本文 XBody X A/DA / D 左のサムスティック左/右Left thumbstick left / right
本文 YBody Y ページ上に/1 ページ下にPage up / page down DPad アップ/ダウンDPad up / down
本文 ZBody Z W/秒W / S 左のサムスティック アップ/ダウンLeft thumbstick up / down
本文のヨーBody Yaw 左/右マウスのドラッグDrag mouse left / right 左/右の右スティックRight thumbstick left / right
Head ヨーHead Yaw H + ドラッグ マウスの左/右H + drag mouse left / right (キーボード) の H + 左/右の右スティックH (on Keyboard) + right thumbstick left / right
Head ピッチHead Pitch 上下のドラッグDrag mouse up / down 右のスティック アップ/ダウンRight thumbstick up / down
Head ロールHead Roll Q/電子メールQ / E DPad 左/右DPad left / right
X の手の形とコント ローラーHand/Controller X Alt + A / DAlt + A / D 肩 + 左/右の左のサムスティックShoulder + left thumbstick left / right
Y の手の形とコント ローラーHand/Controller Y Alt + ページ セットアップ/1 ページ下にAlt + Page up / page down 肩 + DPad アップ/ダウンShoulder + DPad up / down
Z の手の形とコント ローラーHand/Controller Z Alt + W/秒Alt + W / S 肩 + 左のサムスティック アップ/ダウンShoulder + Left thumbstick up / down
手動/コント ローラーのヨーHand/Controller Yaw Alt キーを押しながらドラッグ マウスの左/右Alt + drag mouse left / right 肩 + 左/右の右スティックShoulder + right thumbstick left / right
手動/コント ローラーのピッチHand/Controller Pitch Alt キーを押しながらドラッグ マウス アップ/ダウンAlt + drag mouse up / down 肩 + 右スティック アップ/ダウンShoulder + right thumbstick up / down
手動/コント ローラー ロールHand/Controller Roll Alt + Q/電子メールAlt + Q / E 肩 + 左/右 DPadShoulder + DPad left / right
アクションAction マウスの右ボタンRight mouse button トリガーTrigger
「Bloom/システム/ホームBloom / System / Home F2 または Windows キーF2 or Windows key B ボタンB button
リセットReset Esc キーEscape [スタート] ボタンStart button
TrackingTracking TT X ボタンX button
スクロールScrolling Alt キーを押しながら右マウス ボタン + アップ/ダウン、マウスをドラッグしますAlt + right mouse button + drag mouse up / down 肩 + 右スティック アップ/ダウン、トリガーShoulder + trigger + right thumbstick up / down
移動/回転高速化Move/rotate faster 左または右の Shift キーLeft or right Shift key 押したまま右スティックPress and hold the right thumbstick
移動/回転速度の遅いMove/rotate slow 左右の Ctrl キーLeft or right Ctrl key 左のサムスティックを長押ししPress and hold the left thumbstick

Perception シミュレーション コントロール パネルのキーボード ショートカットPerception Simulation Control Panel keyboard shortcuts

Perception シミュレーションのコントロール パネルへのアクセスを有効にすると、次のキーボード ショートカットが利用またはシミュレーションを使用しての PC の入力デバイスを無効にします。The following keyboard shortcuts are available for accessing the Perception Simulation Control panel and enabling or disabling PC input devices for use with simulation.

操作Operation ShortcutShortcut 説明/注意事項Description/Notes
シミュレーションのキーボードを使用する を切り替えるToggle 'Use keyboard for simulation' F4F4 無効になって、キーボード入力は、HoloLens や Mixed Reality を Windows アプリケーションに移動します。When turned off, keyboard input goes to the HoloLens or Windows Mixed Reality application.
シミュレーションのマウスを使用する を切り替えるToggle 'Use mouse for simulation' F5F5 無効になっているとマウス入力は、Mixed Reality 環境 (Windows Mixed Reality のみ) に移動します。When turned off, mouse input goes to the Mixed Reality environment (Windows Mixed Reality only)
シミュレーション ゲーム パッドを使用する を切り替えるToggle 'Use gamepad for simulation' F6F6 シミュレーションでゲームパッド入力は無視されます、オフの場合When turned off, gamepad input is ignored by simulation
コントロール パネル、非表示Show or hide the control panel F7F7
コントロール パネルにキーボード フォーカスを設定します。Set keyboard focus to the control panel F8F8 パネルが表示されていない場合は、表示される最初。If the panel is not currently visible it will be shown first.
ドッキングまたはとの間、エミュレーターまたは Mixed Reality ポータル ウィンドウ、パネルのドッキングを解除Dock or undock the panel to/from the emulator or Mixed Reality Portal window F9F9 ドッキングを解除して、ウィンドウが閉じている場合はドッキングされ、非表示になります。If the window is closed when undocked, it is docked and hidden.

関連項目See also