Пространственный звук в UnrealSpatial Audio in Unreal

В отличие от зрения, человеческий слух может воспринимать звуки в пространстве с охватом в 360 градусов.Unlike vision, humans hear in 360-degree surround sound. Система пространственного звука эмулирует человеческий слух, предоставляя ориентиры для определения расположения источников звука в пространстве.Spatial sound emulates how human hearing works, providing the cues needed to identify sound locations in world-space. Добавив систему пространственного звука в свои приложения смешанной реальности, вы сделаете их более иммерсивными для пользователей.When you add spatial sound in your mixed reality applications, you're enhancing the level of immersion your user's experience.

Высококачественная обработка пространственного звука очень сложна, поэтому HoloLens 2 поставляется со специальным оборудованием для обработки звуковых объектов.High-quality spatial sound processing is complex, so the HoloLens 2 comes with dedicated hardware for processing those sound objects. Прежде чем вы сможете воспользоваться этим оборудованием, вам нужно установить подключаемый модуль MicrosoftSpatialSound в своем проекте Unreal.Before you can access this hardware processing support, you'll need to install the MicrosoftSpatialSound plugin in your Unreal project. С помощью этой статьи вы сможете установить и настроить этот подключаемый модуль и найти дополнительные ресурсы.This article will walk you through the installation and configuration of the plugin and point you towards more in-depth resources.

Установка подключаемого модуля пространственного звука (Майкрософт)Installing the Microsoft Spatial Sound plugin

Первый шаг по добавлению системы пространственного звука в проект заключается в установке подключаемого модуля пространственного звука (Майкрософт), который можно найти следующим образом:The first step to adding spatial sound to your project is installing the Microsoft Spatial Sound plugin, which you can find by:

  1. Щелкните Edit > Plugins (Правка > Подключаемые модули) и введите MicrosoftSpatialSound в поле поиска.Clicking Edit > Plugins and searching for MicrosoftSpatialSound in the search box.
  2. Установите флажок Enabled (Включен) для подключаемого модуля MicrosoftSpatialSound.Selecting the Enabled checkbox in the MicrosoftSpatialSound plugin.
  3. Перезапустите Unreal Editor, выбрав Restart Now (Перезапустить) на странице подключаемого модуля.Restarting the Unreal Editor by selecting Restart Now from the plugins page.

Примечание

Если вы еще этого не сделали, установите подключаемые модули Microsoft Windows Mixed Reality и HoloLens, выполнив инструкции из раздела Инициализация проекта нашей серии руководств по Unreal.If you haven't already, you'll need to install the Microsoft Windows Mixed Reality and HoloLens plugins by following the instructions in the Initializing your project section of our Unreal tutorial series.

Подключаемый модуль пространственного звука для Unreal

После перезапуска редактора вы сможете работать с проектом.Once the editor restarts, your project is all set!

Настройка подключаемого модуля пространственной обработки для платформы HoloLens 2Setting the spatialization plugin for HoloLens 2 platform

Настройка подключаемого модуля пространственной обработки осуществляется отдельно для каждой платформы.Configuring the spatialization plugin is done on a per-platform basis. Вы можете включить подключаемый модуль пространственного звука (Майкрософт) для HoloLens 2 следующим образом:You can enable the Microsoft Spatial Sound plugin for the HoloLens 2 by:

  1. Выберите Edit > Project Settings (Правка > Параметры проекта), прокрутите до параметра **Platforms (Платформы) и щелкните элемент HoloLens.Selecting Edit > Project Settings, scrolling to **Platforms, and clicking HoloLens.
  2. Разверните свойства Audio (Аудио) и укажите в поле Spatialization Plugin (Подключаемый модуль пространственной обработки) значение Microsoft Spatial Sound (Пространственный звук (Майкрософт)).Expanding the Audio properties and setting the Spatialization Plugin field to Microsoft Spatial Sound.

Подключаемый модуль пространственной обработки для платформы HoloLens

Если вы планируете тестировать свое приложение в Unreal Editor на компьютере, вам понадобится повторить приведенные выше шаги для платформы Windows:If you're going to be previewing your application in the Unreal editor on a desktop PC, you'll need to repeat the above steps for the Windows platform:

Подключаемый модуль пространственной обработки для платформы Windows

Включение пространственного звука на рабочей станцииEnabling spatial audio on your workstation

Пространственный звук по умолчанию отключен для настольных версий Windows.Spatial audio is disabled by default on desktop versions of Windows. Его можно включить следующим образом:You can enable it by:

  • Щелкните правой кнопкой мыши значок громкости на панели задач.Right-clicking on the volume icon in the task bar.
    • Выберите Пространственный звук -> Windows Sonic для наушников, чтобы получить представление о том, каким будет звучание в HoloLens 2.Choose Spatial sound -> Windows Sonic for Headphones to get the best representation of what you'll hear on HoloLens 2.

Подключаемый модуль пространственной обработки

Примечание

Этот параметр обязателен, только если вы планируете тестировать проект в Unreal Editor.This setting is only required if you plan to test your project in the Unreal editor.

Создание объектов затуханияCreating Attenuation objects

После установки и настройки необходимых подключаемых модулей выполните следующие действия:After you've installed and configured the necessary plugins:

  1. Выполните поиск актера Ambient Sound (Звуковое окружение) в окне Place Actors (Размещение актеров) и перетащите его в окно Scene (Сцена).Search for an Ambient Sound actor in the Place Actors window and drag it into the Scene window.

Добавление актера звукового окружения

  1. Сделайте актера Ambient Sound (Звуковое окружение) дочерним элементом визуального элемента в вашей сцене.Make the Ambient Sound actor a child of a visual element in your scene.

    • По умолчанию актер Ambient Sound (Звуковое окружение) не имеет визуального представления, поэтому вы будете только слышать звук, поступающий из его расположения в сцене.An Ambient Sound actor doesn't have any visual representation by default, so you'll only hear a sound from its position in the scene. Если вы присоедините его к визуальному элементу, вы сможете видеть и перемещать актер как любой другой ресурс.Attaching it to a visual element let's you see and move the actor like any other asset.
  2. Щелкните правой кнопкой мыши в окне Content Browser (Обозреватель содержимого) и выберите Create Advanced Asset -> Sounds -> Sound Attenuation (Создать расширенный ресурс -> Звуки -> Затухание звука):Right-click on the Content Browser and selecting Create Advanced Asset -> Sounds -> Sound Attenuation:

Создание ресурса затухания звука

  1. Щелкните правой кнопкой мыши ресурс Sound Attenuation (Затухание звука) в окне Content Browser (Обозреватель содержимого) и выберите Edit (Правка), чтобы открыть окно свойств.Right-click on the Sound Attenuation asset in the Content Browser window and select the Edit option to bring up the properties window.
    • Установите для параметра Spatialization Method (Метод пространственной обработки) значение Binaural (Стереофоническая).Switch the Spatialization Method to Binaural.

Настройка метода пространственной обработки

  1. Выберите актер Ambient Sound (Звуковое окружение) и прокрутите вниз до раздела Attenuation (Затухание) в области Details (Сведения).Select the Ambient Sound actor and scroll down to the Attenuation section in the Details panel.
    • Задайте для свойства Attenuation Settings (Параметры затухания) созданный вами ресурс Sound Attenuation (Затухание звука).Set the Attenuation Settings property to the Sound Attenuation asset you created.

Настройка параметра затухания

  1. Задайте звуковой ресурс, который хотите присоединиться к субъекту звукового окружения:Set the Sound Asset you want to attach to the Ambient Sound actor:
    • Обновите свойство Sound (Звук) субъекта звукового окружения, указав для использования файл SoundAsset.Update the Sound property of the Ambient Sound actor to specify the SoundAsset file to use.

Настройка звукового ресурса

Примечание

Файл SoundAsset должен иметь монофонический формат, чтобы подключаемый модуль пространственного звука (Майкрософт) мог обработать его.The SoundAsset file needs to be mono to be spatialized with the Microsoft Spatial Sound plug-in. Свойства звукового файла можно найти, наведя курсор на ресурс в окне Content Browser (Обозреватель содержимого), как показано на снимке экрана ниже.You can find the sound file properties by hovering over the asset in the Content Browser window as shown in the screenshot below.

Новый ресурс затухания звука

Когда звуковой ресурс будет настроен, для звукового окружения можно включить пространственную обработку с помощью выделенного оборудования HoloLens 2.When the sound asset is configured, the ambient sound can be spatialized using the dedicated hardware offload support on HoloLens 2.

Настройка объектов для пространственной обработкиConfiguring objects for spatialization

Наличие пространственного звука означает, что вы управляете поведением звука в виртуальной среде.Working with spatial audio means you're in charge of managing how sound behaves in a virtual environment. При создании звуковых объектов уделяйте внимание тому, чтобы их громкость повышалась при приближении пользователя и уменьшалась при отдалении.Your main focus is creating sound objects that appear louder when the user is close, and quieter when the user is far away. Это называется затуханием звука — оно создает иллюзию того, что звук сосредоточен в фиксированной точке.This is referred to as sound attenuation, making sounds appear as if they're positioned in a fixed spot.

Для всех объектов затухания можно изменить такие параметры, как:All attenuation objects come with modifiable settings for:

  • расстояние;Distance
  • пространственная обработка;Spatialization
  • абсорбция воздуха;Air Absorption
  • фокус слушателя;Listener Focus
  • отправка реверберации;Reverb Send
  • ЗагораживаниеOcclusion

В статье Затухание звука в Unreal приведены подробные сведения по каждой из этих тем.Sound attenuation in Unreal has details and implementation specifics on each of these topics.

Следующий этап разработкиNext Development Checkpoint

Если вы следуете изложенным нами инструкциям по разработке для Unreal, вы как раз прошли половину в изучении основных стандартных блоков MRTK.If you're following the Unreal development journey we've laid out, you're in the midst of exploring the MRTK core building blocks. Отсюда вы можете перейти к следующему стандартному блоку:From here, you can continue to the next building block:

Или перейдите к возможностям и API платформы смешанной реальности:Or jump to Mixed Reality platform capabilities and APIs:

Вы можете в любой момент вернуться к этапам разработки для Unreal.You can always go back to the Unreal development checkpoints at any time.

См. также статьюSee also