고급 HoloLens 에뮬레이터 및 Mixed Reality 시뮬레이터 입력Advanced HoloLens Emulator and Mixed Reality Simulator input
대부분의 에뮬레이터 사용자는 HoloLens 에뮬레이터 또는 Windows Mixed Reality 시뮬레이터에 대 한 기본 입력 컨트롤을 사용 해야 합니다.Most emulator users will only need to use the basic input controls for the HoloLens Emulator or the Windows Mixed Reality simulator. 아래 세부 정보는 보다 복잡 한 유형의 입력을 시뮬레이트하는 데 필요한 고급 사용자를 위한 것입니다.The details below are for advanced users who have found a need to simulate more complex types of input.
개념Concepts
HoloLens 에뮬레이터 및 Windows Mixed Reality 시뮬레이터에 대 한 가상 입력 제어를 시작 하려면 먼저 몇 가지 개념을 이해 해야 합니다.To get started controlling the virtual input to the HoloLens Emulator and Windows Mixed Reality simulator, you should first understand a few concepts.
동작은 장면에서 항목의 위치와 방향을 제어 하 고 변경 하는 것을 말합니다.Motion refers to controlling and changing the position and orientation of something in the scene. 대상 제어 가능한 개체의 경우 움직임은 3 개의 축을 따라 회전 및 변환 (이동)을 통해 제어 됩니다.For a targeted controllable object, motion is controlled with both rotation and translation (movement) along three axes.
- 요: left 또는 right를 사용 합니다.Yaw: Turn left or right.
- 피치: 위아래로 전환 합니다.Pitch: Turn up or down.
- Roll(roll side side)Roll: Roll side-to-side.
- X: 왼쪽 또는 오른쪽으로 이동 합니다.X: Move left or right.
- Y: 위 또는 아래로 이동 합니다.Y: Move up or down.
- Z: 앞으로 또는 뒤로 이동 합니다.Z: Move forward or backward.
제스처 및 동작 컨트롤러 입력은 물리적 장치에 긴밀 하 게 매핑됩니다.Gesture and motion controller input are mapped closely to physical devices:
- Action: 엄지와 집게 손가락를 누르거나 컨트롤러에서 작업 단추를 끌어오는 작업을 시뮬레이션 합니다.Action: Simulates the action of pressing the forefinger to the thumb or pulling the action button on a controller. 예를 들어 작업 입력을 사용 하 여 공기 탭 제스처를 시뮬레이션 하 고, 콘텐츠를 스크롤하고, 길게 누르기를 수행할 수 있습니다.For example, the Action input can be used to simulate the air-tap gesture, to scroll through content, and to press-and-hold.
- 블 룸/시스템 제스처 또는 홈: HoloLens 블 룸/시스템 제스처 또는 컨트롤러의 홈 단추를 사용 하 여 셸에 반환 하 고 시스템 작업을 발생 시킵니다.Bloom/System gesture or Home: The HoloLens bloom/system gesture or a controller's Home button is used to return to the shell and to fire system actions.
손에는 HoloLens 2를 다양 하 게 표현할 수 있습니다.Hands have a rich representation in HoloLens 2. 이제는 추적/추적 하지 않고 제스처를 구동 하는 데 사용할 수 있을 뿐 아니라, 이제는이에 해당 하는 두 번째 스 켈 레 톤 모델을 포함 하 여 개발자에 게 노출In addition to being tracked/not tracked and usable for driving gestures, hands now have an articulated skeleton model fit to them and exposed to the developer. 스 켈 레 톤 모델에는 각각 26 개의 추적 된 지점이 있습니다.The skeleton model has 26 tracked points on each hand.
- 조인트: 3d 공간에서 관련 된 점을 사용 하 여 지정 된 추적 된 바늘에 대해 추적 된 위치 20 개 중 하나입니다.Joint: One of 20 tracked positions for a given tracked hand with an associated point in 3d space.
- 포즈: 추적 된 손으로 이루어진 모든 조인트의 완전 한 컬렉션으로, 모두 26 개의 조인트를 가집니다.Pose: A complete collection of all of the Joints in a tracked hand, 26 Joints in all.
현재 에뮬레이터를 통해 개별 공동 배치를 직접 제어 하지는 않지만 시뮬레이션 API를 통해 설정할 수 있습니다.We don't currently expose direct control of individual joint positions through the emulator, but you can set them through the simulation API. 에뮬레이터에서 사이를 전환할 수 있도록 하는 일련의 유용한 담당자가 있습니다.We have a set of useful representative poses that the emulator allows you to toggle between.
시뮬레이션 된 센서 입력의 상태를 제어할 수도 있습니다.You can also control the state of simulated sensor input:
- Reset: 시뮬레이트된 모든 센서를 기본값으로 반환 합니다.Reset: Returns all simulated sensors to their default values. HoloLens 2 에뮬레이터부터 다시 설정의 범위를 하나 또는 둘 다로 지정할 수 있습니다.Starting with the HoloLens 2 Emulator, a reset can be scoped to one or both hands. 보조키 또는 단추 (왼쪽 및/또는 오른쪽 Alt 또는 게임 패드의 왼쪽 및/또는 오른쪽 범퍼)를 사용 하 여 원하는 손을 참여 합니다.Engage the desired hand(s) using the modifier key(s) or button(s) (Left and/or Right Alt, or the left and/or right bumper on the gamepad).
- 추적: 다음을 포함 하 여 위치 추적 모드를 순환 합니다.Tracking: Cycles through the positional tracking modes, including:
- 기본값: OS는 시스템의 요청에 따라 가장 적합 한 추적 모드를 선택 합니다.Default: The OS chooses the best tracking mode based upon the requests made of the system.
- 방향: 시스템 요청에 관계 없이 방향 전용 추적을 강제 적용 합니다.Orientation: Forces Orientation-only tracking, no matter the system requests.
- 위치: 시스템 요청에 관계 없이 위치 추적을 강제 적용 합니다.Positional: Forces Positional tracking, no matter the system requests.
입력 유형Types of input
다음 표에서는 각 유형의 입력이 키보드, 마우스 및 Xbox 컨트롤러에 매핑되는 방법을 보여 줍니다.The following table shows how each type of input maps to the keyboard, mouse, and Xbox controller. 각 형식에는 입력 컨트롤 모드에 따라 서로 다른 매핑이 있습니다.Each type has a different mapping depending on the input control mode. 입력 컨트롤 모드에 대 한 자세한 내용은이 문서의 뒷부분에서 찾을 수 있습니다.You can find more information on input control modes later in this document.
입력Input | 키보드Keyboard | 마우스Mouse | Xbox 컨트롤러Xbox controller |
---|---|---|---|
요Yaw | 왼쪽/오른쪽 화살표Left / right arrows | 왼쪽/오른쪽으로 끌기Drag Left / Right | 오른쪽 엄지 스틱 왼쪽/오른쪽Right thumbstick left / right |
피치Pitch | 위쪽/아래쪽 화살표Up / down arrows | 위로/아래로 끌기Drag up / down | 오른쪽 엄지 스틱 위쪽/아래쪽Right thumbstick up / down |
되돌릴Roll | Q/EQ / E | DPad left/rightDPad left / right | |
XX | A/DA / D | 왼쪽 엄지 스틱 왼쪽/오른쪽Left thumbstick left / right | |
YY | Page up/page downPage up / page down | DPad up/downDPad up / down | |
ZZ | W/SW / S | 왼쪽 엄지 스틱 위쪽/아래쪽Left thumbstick up / down | |
작업Action | 입력 또는 공간Enter or space | 오른쪽 단추Right button | 단추 또는 트리거A button or either trigger |
블 룸/시스템Bloom/System | F2 또는 Windows 키F2 or Windows key | B 단추B button | |
컨트롤러 그립 단추/손 모양Controller grip button / Hand grasp | GG | ||
컨트롤러 메뉴 단추Controller menu button | MM | ||
컨트롤러 터치 패드 touchController touchpad touch | UU | ||
컨트롤러 터치 패드 누르기Controller touchpad press | PP | ||
컨트롤러 엄지 스틱 보도Controller thumbstick press | KK | ||
왼쪽 컨트롤러 추적 상태Left controller tracking state | F9F9 | ||
오른쪽 컨트롤러 추적 상태Right controller tracking state | F10F10 | ||
' Close ' 포즈Hand 'Close' Pose | 77 | ||
손으로 ' Open ' 포즈 (기본값)Hand 'Open' Pose (default) | 88 | ||
손 모양 ' Point ' 포즈Hand 'Point' Pose | 99 | ||
손 모양 ' 포즈 'Hand 'Pinch' Pose | 00 | ||
다시 설정Reset | 키 이스케이프Escape key | 시작 단추Start button | |
추적Tracking | T 또는 F3T or F3 | X 버튼X button |
참고: 컨트롤러 단추는 손 대상 한정자를 사용 하 여 하나의 손/컨트롤러 또는 다른 대상으로 지정할 수 있습니다.Note: The controller buttons can be targeted to one hand/controller or the other using the hand targeting modifiers.
대상 지정Targeting
위의 입력 개념 중 일부는 고유 합니다.Some of the above input concepts stand on their own. Action, 블 룸/System, Reset 및 Tracking은 전체 개념, 필요 하지 않으며 대상 지정을 위한 추가 한정자의 영향을 받지 않습니다.Action, Bloom/System, Reset, and Tracking are complete concepts, don't need, and are not affected by, any additional modifiers for targeting. 나머지 개념은 여러 대상 중 하나에 적용 될 수 있습니다.The remaining concepts can be applied to one of multiple targets. 명령을 적용 해야 하는 대상을 지정 하는 방법을 소개 했습니다.We have introduced ways for you to specify which intended target your command should be applied to. 모든 경우에 UI를 통해 또는 대상 개체를 키보드 누름을 통해 지정할 수 있습니다.In all cases, it's possible to specify through the UI or through keyboard presses, which object to target. 경우에 따라 xbox 컨트롤러를 직접 지정 하는 것도 가능 합니다.In some cases, it's also possible to specify with the xbox controller directly.
다음 표에서는를 대상으로 하는 옵션과 각 항목을 활성화 하는 방법을 설명 합니다.The following table describes the options for targeting, and the way to activate each of them.
ObjectObject | 키보드 한정자Keyboard Modifier | Controller 한정자Controller Modifier | 에뮬레이터 UI 한정자Emulator UI Modifier |
---|---|---|---|
본문Body | (기본값)(default) | (기본값)(default) | (기본값)(default) |
HeadHead | 보유 HHold H | (사용할 수 없음)(Not available) | (사용할 수 없음)(Not available) |
왼쪽/컨트롤러Left Hand/Controller | 왼쪽 Alt 단추 길게Hold Left Alt button | 왼쪽 어깨 단추 누르기Hold Left Shoulder Button | Left-Hand 압정Left-Hand pushpin |
오른쪽/컨트롤러Right Hand/Controller | 오른쪽으로 Alt 단추 길게Hold Right Alt Button | 오른쪽 어깨 단추 누르기Hold Right Shoulder Button | Right-Hand 압정Right-Hand pushpin |
눈Eyes | 유지 YHold Y | (사용할 수 없음)(Not available) | 눈 압정Eyes Pushpin |
다음 표에서는 각 대상 한정자가 각 핵심 이동 입력 개념을 매핑하는 방법을 보여 줍니다.The following table shows how each target modifier maps each of the core movement input concepts
입력Input | 기본 (본문)Default (Body) | 손/컨트롤러 (Alt 키를 누른 채, 게임 패드 어깨 단추를 누르고 있거나 UI 압정 설정/해제)Hand/controller (Hold Alt, hold gamepad shoulder button, or toggle UI pushpin) | 헤드 (길게)Head (Hold H) | 눈 (Y 포함 또는 UI 압정 전환)Eyes (Hold Y or toggle UI pushpin) |
---|---|---|---|---|
요Yaw | 왼쪽/오른쪽으로 본문 설정Turn body left / right | 왼쪽/오른쪽으로 왼쪽 이동Move hand left / right | 왼쪽/오른쪽으로 설정Turn head left / right | 아이 응시 왼쪽/오른쪽 모양Eye gaze looks left/right |
피치Pitch | 위쪽/아래쪽으로 설정Turn head up / down | 손 모양 위로/아래로 이동Move hand up / down | 위쪽/아래쪽으로 설정Turn head Up / down | 아이 응시에서 위/아래로 조회Eye gaze looks up/down |
되돌릴Roll | 왼쪽/오른쪽 롤 헤드Roll head left / right | 왼쪽/오른쪽 롤 헤드Roll head left / right | (작업 없음)(No action) | |
XX | 왼쪽/오른쪽으로 슬라이드 본문Slide body left / right | 손 모양/컨트롤러를 왼쪽/오른쪽으로 이동Move hand/controller left / right | 왼쪽/오른쪽으로 설정Turn head left / right | (작업 없음)(No Action) |
YY | 본문을 위/아래로 이동Move body up / down | 손 모양/컨트롤러 위로/아래로 이동Move hand/controller up / down | 위쪽/아래쪽으로 설정Turn head up / down | (작업 없음)(No Action) |
ZZ | 본문 앞으로/뒤로 이동Move body forward / backward | 손 모양/컨트롤러 앞으로/뒤로 이동Move hand/controller forward / backward | 위쪽/아래쪽으로 설정Turn head up / down | (작업 없음)(No Action) |
앱 제어Controlling an app
다음 컨트롤 집합은 일상적인 사용을 위해 제안 됩니다.The following set of controls is suggested for day-to-day use:
작업(Operation)Operation | 키보드 및 마우스Keyboard and mouse | 컨트롤러Controller |
---|---|---|
본문 XBody X | A/DA / D | 왼쪽 엄지 스틱 왼쪽/오른쪽Left thumbstick left / right |
본문 YBody Y | Page up/page downPage up / page down | DPad up/downDPad up / down |
본문 ZBody Z | W/SW / S | 왼쪽 엄지 스틱 위쪽/아래쪽Left thumbstick up / down |
본문 요Body Yaw | 마우스 왼쪽/오른쪽으로 끌기Drag mouse left / right | 오른쪽 엄지 스틱 왼쪽/오른쪽Right thumbstick left / right |
헤드 요Head Yaw | H + 마우스 왼쪽/오른쪽으로 끌기H + drag mouse left / right | H (키보드) + 오른쪽 엄지 스틱 왼쪽/오른쪽H (on Keyboard) + right thumbstick left / right |
헤드 피치Head Pitch | 마우스를 위아래로 끌기Drag mouse up / down | 오른쪽 엄지 스틱 위쪽/아래쪽Right thumbstick up / down |
헤드 롤Head Roll | Q/EQ / E | DPad left/rightDPad left / right |
손/컨트롤러 XHand/Controller X | Alt + A/DAlt + A / D | 왼쪽/오른쪽 어깨 + 왼쪽 엄지 스틱Shoulder + left thumbstick left / right |
손/컨트롤러 YHand/Controller Y | Alt + Page up/page downAlt + Page up / page down | 어깨 + DPad up/downShoulder + DPad up / down |
손/컨트롤러 ZHand/Controller Z | Alt + W/SAlt + W / S | 어깨 + 왼쪽 엄지 스틱 위쪽/아래쪽Shoulder + Left thumbstick up / down |
손/컨트롤러 요Hand/Controller Yaw | Alt + 마우스 왼쪽/오른쪽으로 끌기Alt + drag mouse left / right | 왼쪽/오른쪽 엄지 스틱 + 오른쪽 엄지 스틱Shoulder + right thumbstick left / right |
손/컨트롤러 피치Hand/Controller Pitch | Alt + 마우스를 위로/아래로 끌기Alt + drag mouse up / down | 어깨 + 오른쪽 엄지 스틱 위쪽/아래쪽Shoulder + right thumbstick up / down |
손/컨트롤러 롤Hand/Controller Roll | Alt + Q/EAlt + Q / E | 왼쪽/오른쪽 어깨 + DPadShoulder + DPad left / right |
작업Action | 마우스 오른쪽 단추Right mouse button | 트리거Trigger |
블 룸/시스템/홈Bloom / System / Home | F2 또는 Windows 키F2 or Windows key | B 단추B button |
다시 설정Reset | 이스케이프Escape | 시작 단추Start button |
추적Tracking | TT | X 버튼X button |
스크롤Scrolling | Alt + 마우스 오른쪽 단추 + 마우스를 위로/아래로 끌기Alt + right mouse button + drag mouse up / down | 어깨 + 트리거 + 오른쪽 엄지 스틱 위쪽/아래쪽Shoulder + trigger + right thumbstick up / down |
더 빠르게 이동/회전Move/rotate faster | 왼쪽 또는 오른쪽 Shift 키Left or right Shift key | 오른쪽 엄지 스틱을 누르고 있습니다.Press and hold the right thumbstick |
느리게 이동/회전Move/rotate slow | 왼쪽 또는 오른쪽 Ctrl 키Left or right Ctrl key | 왼쪽 엄지 스틱을 누르고 있습니다.Press and hold the left thumbstick |
HoloLens 2 에뮬레이터에서 Windows Mixed Reality 몰입형 헤드셋 및 모션 컨트롤러 사용Using a Windows Mixed Reality immersive headset and motion controllers with the HoloLens 2 Emulator
Windows Mixed Reality 몰입 형 헤드셋을 HoloLens 2 에뮬레이터와 함께 사용 하는 경우 이동 및 회전이 헤드셋 이동 및 회전에 자동으로 매핑됩니다.When using a Windows Mixed Reality immersive headset with the HoloLens 2 Emulator, movement and rotation are automatically mapped to headset movement and rotation. 동작 컨트롤러 위치 및 방향은 에뮬레이터에서 직접 위치 및 방향에 자동으로 매핑됩니다.Motion controller position and orientation are automatically mapped to hand position and orientation in the emulator. 다음 표에서는 동작 컨트롤러를 사용할 때 사용할 수 있는 추가 동작을 보여 줍니다.The table below lists additional actions available when using a motion controller.
참고
헤드셋을 사용 하는 경우 표준 키보드, 마우스 및 게임 패드 컨트롤이 자동으로 무시 됩니다.When using a headset, standard keyboard, mouse, and gamepad controls are automatically ignored.
작업(Operation)Operation | 작업Action | 메모Notes |
---|---|---|
본문 XBody X | 왼쪽/오른쪽 엄지 스틱Thumbstick Left / Right | |
본문 ZBody Z | 엄지 스틱 앞으로/뒤로Thumbstick Forward / Back | |
본문 YBody Y | 키보드 페이지 위쪽/아래쪽Keyboard Page Up /Down | Windows Mixed Reality에 포커스가 있는지 확인 합니다.Ensure that Windows Mixed Reality has focus. Windows 바탕 화면에 포커스가 있는 경우 Win + Y를 눌러 Windows Mixed Reality로 포커스를 반환 합니다.Press Win+Y if focus is on the Windows Desktop to return focus to Windows Mixed Reality. |
왼쪽/오른쪽으로 눈에 보기Eyes Look Left / Right | DPad Left/RightDPad Left / Right | |
눈에 보기/아래로Eyes Look Up / Down | DPad Up/DownDPad Up / Down | |
탭Tap | 트리거Trigger | |
손가락을 들 여Pinch/Grasp | 그립 단추Grip button | |
시스템 제스처System Gesture | 메뉴 버튼Menu button | |
위치 다시 설정Reset Position | 엄지 스틱 클릭Thumbstick click |
인식 시뮬레이션 제어판 바로 가기 키Perception Simulation Control Panel keyboard shortcuts
다음 바로 가기 키를 사용 하 여 인식 시뮬레이션 제어판에 액세스 하 고 PC 입력 장치를 사용 하거나 사용 하지 않도록 설정할 수 있습니다.You can access the Perception Simulation Control panel and enable or disable PC input devices with the following keyboard shortcuts.
작업(Operation)Operation | 바로 가기Shortcut | 설명/참고 사항Description/Notes |
---|---|---|
' 시뮬레이션에 키보드 사용 ' 설정/해제Toggle 'Use keyboard for simulation' | F4F4 | 꺼져 있으면 키보드 입력이 HoloLens 또는 Windows Mixed Reality 응용 프로그램으로 이동 합니다.When turned off, keyboard input goes to the HoloLens or Windows Mixed Reality application. |
' 시뮬레이션에 마우스 사용 ' 설정/해제Toggle 'Use mouse for simulation' | F5F5 | 꺼진 경우 마우스 입력이 혼합 현실 환경으로 이동 합니다 (Windows Mixed Reality에만 해당).When turned off, mouse input goes to the Mixed Reality environment (Windows Mixed Reality only) |
' 시뮬레이션에 대 한 게임 사용 ' 설정/해제Toggle 'Use gamepad for simulation' | F6F6 | 해제 된 경우에는 게임 패드 입력이 시뮬레이션에 의해 무시 됩니다.When turned off, gamepad input is ignored by simulation |
제어판을 표시 하거나 숨깁니다.Show or hide the control panel | F7F7 | |
키보드 포커스를 제어판으로 설정Set keyboard focus to the control panel | F8F8 | 패널이 현재 표시 되지 않는 경우 먼저 표시 됩니다.If the panel is not currently visible, it will be shown first. |
에뮬레이터 또는 혼합 현실 포털 창에서 패널을 도킹 하거나 도킹 해제 합니다.Dock or undock the panel to/from the emulator or Mixed Reality Portal window | F9F9 | 도킹 해제 시 창이 닫히면 도킹 되 고 숨겨집니다.If the window is closed when undocked, it's docked and hidden. |