高级 HoloLens 仿真器和混合现实模拟器输入

大多数仿真器用户只需使用 HoloLens EmulatorWindows Mixed Reality的基本输入控件。 以下详细信息适用于发现需要模拟更复杂的输入类型的高级用户。

概念

若要开始控制 HoloLens Emulator 和 Windows Mixed Reality 模拟器的虚拟输入,应首先了解一些概念。

运动是指控制和更改场景中某些内容的位置和方向。 对于目标可控制对象,运动通过旋转和平移控制 (沿) 轴移动。

  • Yaw: 向左或向右。
  • 间距:向上或向下。
  • Roll: 并排滚动。
  • X: 向左或向右移动。
  • Y: 上移或下移。
  • Z: 向前或向后移动。

手势和运动控制器输入紧密映射到物理设备:

  • 操作:模拟按手指指向滚动块或拉取控制器上的操作按钮的操作。 例如,"操作"输入可用于模拟敲击手势、滚动内容以及按住。
  • Bloom/System 手势 或主页:HoloLens/系统手势或控制器的"主页"按钮返回到 shell 并启动系统操作。

手部在手部中具有丰富的HoloLens 2。 除了被跟踪/未跟踪和用于驾驶手势外,手部现在还有一个适合它们并公开给开发人员的表达主干模型。 主干模型每手都有 26 个跟踪点。

  • 联合:给定跟踪手的 20 个跟踪位置之一,3d 空间中有一个关联点。
  • 姿势:跟踪手中所有联合的完整集合,共 26 个联合。

目前,我们不会通过仿真器公开对各个联合位置的直接控制,但可以通过模拟 API 进行设置。 我们提供了一组有用的代表性,仿真器允许你在两者之间切换。

还可以控制模拟传感器输入的状态:

  • 重置:将所有模拟传感器返回到其默认值。 从 HoloLens 2 Emulator开始,重置的范围可以是一只或两只手。 使用修改键 (或按钮 () 或按钮 () (Left 和/或 Right Alt,或者游戏板) 上的左侧和/或右侧缓冲器 () 所需的手部) 。
  • 跟踪:循环访问位置跟踪模式,包括:
    • 默认值:OS 根据系统的请求选择最佳跟踪模式。
    • 方向:无论系统请求如何,都强制进行仅方向跟踪。
    • 位置:无论系统请求如何,都强制进行位置跟踪。

输入类型

下表显示了每种输入类型如何映射到键盘、鼠标和 Xbox 控制器。 每种类型都有不同的映射,具体取决于输入控件模式。 可以在本文档的稍后部分找到有关输入控制模式详细信息。

输入 Keyboard 鼠标 Xbox 控制器
Yaw 向左/向右箭头 向左/向右拖动 右滚动块左/右
音调 向上/向下箭头 向上/向下拖动 右滚动块向上/向下
Roll Q/E DPad 左侧/右侧
X A/D 左滚动块左/右
Y 上一页 /page down DPad 向上/向下
Z W/S 左滚动块向上/向下
操作 输入或空格 向右按钮 按钮或任一触发器
Bloom/System F2 或Windows键 B 按钮
控制器手柄按钮/手部抓取 G
控制器菜单按钮 M
控制器触摸板触摸 U
按控制器触摸板 P
按控制器指纹 K
左侧控制器跟踪状态 F9
右控制器跟踪状态 F10
手部"关闭"姿势 7
手部"打开" (默认) 8
手部"点"姿势 9
手部"收缩"姿势 0
重置 转义键 “开始”按钮
跟踪 T 或 F3 X 按钮

注意:控制器按钮可以使用手目标修饰符以一个手/控制器或另一个控制器为目标。

目标设定

上述一些输入概念是独立的。 操作、Bloom/System、重置和跟踪是完整的概念,不需要且不受任何其他目标修饰符的影响。 其余概念可应用于多个目标之一。 我们引入了一些方法,用于指定命令应应用到的目标。 在所有情况下,都可以通过 UI 或键盘按下指定要面向的对象。 在某些情况下,还可以直接使用 xbox 控制器指定 。

下表介绍了用于目标的选项,以及激活每个选项的方法。

Object 键盘修饰符 控制器修饰符 EmulatorUI 修饰符
正文 (默认值) (默认值) (默认值)
保持 H (不可用) (不可用)
左侧/控制器 按住左 Alt 按钮 "按住左移动"按钮 Left-Hand图钉
右侧/控制器 按住右 Alt 按钮 按住右键按钮 Right-Hand图钉
眼睛 保留 Y (不可用) 眼睛图钉

下表显示了每个目标修饰符如何映射每个核心移动输入概念

输入 默认 (正文) 手/控制器 (按住 Alt、按住游戏板按钮或切换 UI 图钉) 头 (H) 眼睛 (Y 或切换 UI 图钉)
Yaw 向左/向右轮转正文 向左/向右移动手部 向左/向右转头 眼睛凝视左/右
音调 向上/向下打开 上移/下移 向上/向下打开头 眼睛凝视向上/向下查找
Roll 向左/向右滚动头 向左/向右滚动头 (没有操作)
X 向左/向右滑动正文 向左/向右移动手/控制器 向左/向右转头 (无操作)
Y 向上/向下移动正文 上移/下移手/控制器 向上/向下打开 (无操作)
Z 向前/向后移动正文 向前/向后移动手/控制器 向上/向下打开 (无操作)

控制应用

建议使用以下控件集进行日常使用:

操作 键盘和鼠标 控制器
正文 X A/D 左滚动块左/右
正文 Y 上一页 /page down DPad 向上/向下
正文 Z W/S 左滚动块向上/向下
正文 Yaw 向左/向右拖动鼠标 右滚动块左/右
Head Yaw H + 向左/向右拖动鼠标 键盘 (上的 H) + 右滚动块左/右
头部间距 向上/向下拖动鼠标 右滚动块向上/向下
头滚 Q/E DPad 左侧/右侧
手/控制器 X Alt + A/D 单指 + 左滚动块左/右
手/控制器 Y Alt + 上一页 /page down 向上/向下的"单车 + DPad"
手/控制器 Z Alt + W/S 肩 + 左操纵杆向上/向下
手动/控制器偏航 Alt + 向左/向右拖动鼠标 肩 + 向右操纵杆左/右
手动/控制器间距 Alt + 向上/向下拖动鼠标 肩 + 向右操纵杆向上/向下
手动/控制器滚动 Alt + Q/E 肩 + DPad 左/右
操作 鼠标右键 触发器
布隆/System/Home F2 或 Windows 键 B 按钮
重置 Escape “开始”按钮
跟踪 T X 按钮
滚动 Alt + 鼠标右键 + 上箭头/下箭头 肩 + 触发器 + 右操纵杆向上/向下
更快移动/旋转 向左或向右 Shift 键 按住右操纵杆
移动/旋转慢 左或右 Ctrl 键 按住左操纵杆

将 Windows Mixed Reality 沉浸式头戴显示设备和运动控制器与 HoloLens 2 仿真器配合使用

使用 HoloLens 2 Emulator 的 Windows Mixed Reality 沉浸式耳机时,移动和旋转会自动映射到耳机移动和旋转。 运动控制器的位置和方向会自动映射到模拟器中的位置和方向。 下表列出了使用运动控制器时可用的其他操作。

备注

使用耳机时,会自动忽略标准键盘、鼠标和游戏板控件。

操作 操作 说明
正文 X 向左/向右操纵杆
正文 Z 操纵杆前进/后退
正文 Y 键盘 Page Up/Down 确保 Windows Mixed Reality 有焦点。 如果焦点位于 Windows 桌面上,请按 Win + Y 将焦点返回到 Windows Mixed Reality。
向左/向右查找眼睛 DPad 左/右
眼睛查找/关闭 DPad
点击 触发器
挤压/抓住 手柄按钮
系统手势 “菜单”按钮
重置位置 操纵杆单击

感知模拟控制面板键盘快捷方式

可以使用以下键盘快捷方式访问 "感知模拟" 控制面板,并启用或禁用 PC 输入设备。

操作 快捷键 说明/注释
切换 "使用键盘进行模拟" F4 关闭后,键盘输入将转到 HoloLens 或 Windows Mixed Reality 应用程序。
切换 "使用鼠标进行模拟" F5 关闭后,鼠标输入将转到混合现实环境 (仅 Windows Mixed Reality)
切换 "将游戏板用于模拟" F6 如果关闭,则模拟将忽略游戏板输入
显示或隐藏控制面板 F7
将键盘焦点设置到控制面板 F8 如果面板当前不可见,将首先显示该面板。
在模拟器或混合现实门户窗口中停靠或取消停靠面板 F9 如果在取消停靠时关闭窗口,则停靠并隐藏该窗口。

另请参阅