空间音效最佳做法

如果你刚开始使用空间音效,请参阅我们的空间音效概述

可以使用音效来通知和强化用户对应用程序状态的心智模式。 在适当的情况下,可以使用空间化在混合现实世界中添加音效。 以这种方式连接听觉和视觉元素时,可以深化交互的直观性并增强用户的自信心。

何时添加音效

混合现实应用程序通常比 2D 应用程序更需要音效,因为它们缺乏触觉接口。 在通知用户或强化交互时添加音效。

通知和强化

  • 对于不是由用户发起的事件(例如通知),可以使用音效来通知用户发生了变化。
  • 交互可能分为多个阶段。 使用音效来强化阶段转换。

请参阅以下交互、事件和建议的音效特征示例。

约束

用户没有无限的脑容量来记住音频信息。

  • 每个音效应该传达具体的有价值信息。
  • 当应用通过播放音效来通知用户时,请暂时降低其他音效的音量。
  • 对于按钮悬停音效(参阅以下信息),请添加时间延迟以防止过度触发音效。

不要单纯地依赖音效

使用得当的音效对用户很有价值。 但请确保应用程序即使在关闭音效的情况下也可用。

  • 用户可能有听力障碍。
  • 应用程序可能在嘈杂环境中使用。
  • 用户可能出于隐私考虑或其他原因而禁用设备音频。

如何使交互音效化

混合现实中的交互类型包括手势、直接操控和语音。 使用以下建议的特征为这些交互选择或设计音效。

手势交互

在混合现实中,用户可以使用鼠标来与按钮交互。 按钮操作通常发生在用户松开而不是按下按钮,使用户有机会取消交互的时候。 使用音效来强化这些阶段。 为了帮助用户定位远处的按钮,还可以考虑使用指针悬停音效。

  • 按钮按下音效应该是短促的、有触感的“咔嗒”声。
    示例:MRTK_ButtonPress.wav
  • 按钮松开音效应有类似的触感。 比按钮按下音效更高的音高可以强化完满感。
    示例:MRTK_ButtonUnpress.wav
  • 对于悬停音效,请考虑使用微妙且不让人感到害怕的音效,例如低频的砰砰声或撞击声。

直接操作

在 HoloLens 2 上,关节手部跟踪支持直接操控用户界面元素。 没有其他物理反馈时,音效非常重要。

按钮按下音效非常重要,因为当用户击键到底部时不会得到任何其他指示。 按键行程的音效指示器可能很轻、很细微且被遮挡。 与手势交互一样,按下按钮应该听到类似于咔嗒声的短促触感音效。 松开按钮应该听到类似的咔嗒声,但音高需要升高。

很难从视觉上确认抓取或释放操作。 用户的手通常会妨碍任何视觉效果,而坚硬的对象缺乏“抓取”操作的真实视觉模拟。音效可以有效地传达成功的抓取和释放交互。

  • 抓取操作应配合短促且有点低沉的触感音效,造成一种使手指围绕对象闭合的想法。 有时还可以使用“嗖嗖”声,通过抓取音效来传达手的运动。
    示例:MRTK_Move_Start.wav
  • 释放操作应配合类似的短促且有触感的音效。 它的音高通常低于抓取音效,并且顺序相反,先是撞击声,然后是“嗖嗖”声,表示对象正在就位。
    示例:MRTK_Move_End.wav

绘制交互应配合持续的循环音效,其音量由用户的手部运动来决定。 当用户的手静止时,音效应该静音;当手快速移动时,音效应该最响。

语音交互

语音交互通常使用微妙的视觉元素。 使用音效来强化交互阶段。 你可能想要使用更多音调的音效来区分手势和直接操控音效。

  • 对语音命令“确认”使用积极音调。 可以使用升音和主要音程。
  • 对语音命令“失败”使用较短、不太积极的音调。 避免消极音效。 应该使用更具冲击力的中性音效来传达应用程序正在继续交互。
  • 如果应用程序包含唤醒词,请在设备开始收听时使用短促、温和的音调。 在应用程序正在收听时使用微妙的循环音效

通知

通知指示应用程序状态更改和用户未发起的其他事件。 状态更改可以包括过程完成、消息和电话呼叫。

在混合现实中,对象有时会移动到用户的视场范围以外。 将运动中的动画对象与取决于对象类型和运动速度的空间化音效搭配使用

  • 这有助于在动画结束时播放空间化音效,将对象的新位置告知用户。
  • 对于渐进式运动,运动过程中的“嗖嗖声”可帮助用户跟踪对象。

可以反复收听消息通知音效,有时快速连续地收听。 确保这种音效不会造成惊吓或刺耳。 可以使用积极的中频音调。

  • 来电音效的质量应该与手机铃声相似。 这些音效是用户接听电话之前循环播放的乐句。
  • 语音通信接通和挂断应配合短促的音调。 接通音效应是积极音调,表示连接成功。 挂断音效应是中性音效,表示通话结束。

处理空间化

空间化使用立体声耳机或扬声器在混合现实世界中播放音效。

哪些音效需要空间化

当音效与具有空间位置的事件相关联时,应将其空间化。 这包括 UI、包含的 AI 语音和视觉指示器。

空间化用户界面元素,通过限制用户听到的立体声数量来帮助整理用户的声音“空间”。 空间化音频反馈后,触摸、抓取和释放之类的操控交互感会更自然。 请考虑以下有关这些元素的距离衰减的信息。

空间化视觉指示器和包含的 AI 音效,用于在这些事物超出视场范围时直观地通知用户

相反,请避免对匿名 AI 语音和其他缺乏明确定义的空间位置的元素进行空间化。 没有相关视觉元素的空间化会使用户分散注意力,导致他们认为找不到所需的视觉元素。

空间化确实会造成一定的 CPU 开销。 许多应用程序最多同时播放两种音效。 在这种情况下,空间化的开销也许可以忽略不计。 可以使用 MRTK 帧速率监视器来判断添加空间化后的影响。

何时以及如何应用基于距离的衰减

在物理世界中,距离越远的音效越安静。 音频引擎可以根据源距离对这种衰减进行建模。 在传达相关信息时使用基于距离的衰减。

与视觉指示器、动画全息影像和其他信息性音效的距离与用户相关。 使用基于距离的衰减直观地给予提示。

调整每个源的衰减曲线,以适应混合现实世界空间的大小。 音频引擎的默认曲线通常适用于大的(最大半公里)空间。

用于强化按钮操作渐进阶段和其他交互的音效不应该应用衰减。 这些音效的强化效果比传达按钮距离更重要。 差异可能会分散注意力,尤其是使用键盘时,可能会连续听到许多的按钮击键声音。

使用哪种空间化技术

对于耳机或 HoloLens 扬声器,请使用基于头部相关传输函数 (HRTF) 的空间化技术。 这些技术可为物理世界中头部周围的音效传播建模。 即使声源位于头部的远端,声音也会以一定的衰减和延迟传播到远处的耳朵中。 声像偏移仅依赖于衰减,如果声音发自右侧,则在左耳中应用总衰减,反之亦然。 这种技术可能会让“听力正常”的听者感到不舒服,而一只耳朵有听力障碍的听者无法访问该技术。

后续步骤