交互模型

  • 3 分钟

混合现实工具包让你可以使用来自各种输入源的输入，例如控制器、关节人手或语音。 要选择最适合你的混合现实体验的交互模型，需要确定用户和他们的目标，并考虑可能会影响用户体验的任何情境或环境因素。 接下来，你将学习混合现实体验的三种主要交互模型，以及如何在 Unity 中模拟输入。

交互模型

有三种主要的交互模型适合大多数混合现实体验。

模型 示例方案 适合
手部和运动控制器 3D 空间体验，如空间布局和设计、内容操作或模拟。 非常适合新用户，可与语音、眼动跟踪或头部凝视结合使用。 可轻易掌握。 手部跟踪和 6DoF 控制器之间的用户体验一致。
免手动 用户的双手被占用的情境体验，如在职学习和维护。 必需进行一些学习。 如果双手被占用，则设备可以很好地与语音和自然语言配对。
凝视并提交 点入浏览体验（例如，3D 演示文稿或演示）。 需要在头戴式设备上训练，而不是在移动设备上。 最适用于可访问的控制器。

尽管可以将多个交互模型的部分组合到混合现实体验中，但请注意，这样做会产生用户输入竞争的风险，如同时使用手部射线和头部凝视光标。 这可能会让用户感到不知所措和困惑。

如果你的体验确实需要多个交互模型，请注意，在从一个模型转换到另一个模型时，许多用户都可能会遇到困难，尤其是刚刚开始接触混合现实的用户。

手部和运动控制器模型

手部和运动控制器模型要求用户使用一只或两只手与全息影像交互。 此模型消除了虚拟世界和现实世界之间的界限。

一些具体方案包括：

  • 为信息工作者提供包含 UI 的 2D 虚拟屏幕来显示和控制内容
  • 为一线工作者提供关于工厂装配线的教程和指南
  • 开发用于协助和教育医疗专业人员的专业工具
  • 使用 3D 虚拟对象来装饰现实世界，或创建另一个世界
  • 以现实世界为背景创建基于位置的服务和游戏

有三种手部和运动控制器模态：

  • 用手直接操作
  • 用手指向并提交
  • 运动控制器

免手动模型

借助免手动模型，用户不用手也可以与全息内容进行交互。 如果用户可能需要用手来完成自己在现实世界的目标，并且无法与基于手部和控制器的界面进行交互，那么最好使用这种方法。

一些具体的场景包括：

  • 在用户双手被占用时引导用户完成任务
  • 在用户双手被占用时参考材料
  • 手部疲劳
  • 无法跟踪手套
  • 手里拿着东西
  • 避免在做大幅度手势时的社交尴尬
  • 狭小空间

有两种免手动形态：

  • 语音输入
  • 凝视并停留

凝视并提交

“凝视并提交”是一种输入模型，与我们使用鼠标进行指向和单击来与计算机交互的方式密切相关。 “凝视并提交”被认为是包含间接操作的远点输入模型。 因此，在与无法触及的全息内容交互时，最好使用“凝视并提交”。 有两种类型的凝视输入（头部凝视和眼睛凝视），以及不同的提交操作。

在通过凝视定目标到对象或 UI 元素后，用户可以使用辅助输入与之交互或选中它。 这被称为输入模型的提交步骤。 提交方法包括语音命令、按下按钮或手势。

Unity 编辑器内输入模拟

借助 Unity 编辑器内输入模拟，可以在使用手部或眼睛交互时测试全息对象行为。

如何在场景中移动：

  • 使用 W/A/S/D 键来向前/向左/向后/向右移动摄像机。
  • 使用 Q/E 键来垂直移动摄像机。
  • 按住鼠标右键来旋转摄像头。

如何模拟手部输入：

  • 按住空格键来启用右手。
  • 在按住空格键的同时，移动鼠标来移动手。
  • 使用鼠标滚轮来调整手的深度。
  • 单击鼠标左键来模拟收缩手势。
  • 使用 T/Y 键来让手持续显示在视图中。
  • 按住 CTRL 键并移动鼠标来旋转手。
  • 按住左 Shift 键来启用左手。