Ввод голоса в нереальном режимеVoice Input in Unreal

Речевой ввод в нереальном режиме позволяет взаимодействовать с голограммами без использования жестов руки и поддерживается только HoloLens 2.Voice input in Unreal allows you to interact with a hologram without having to use hand gestures and is only supported HoloLens 2. Голосовый ввод в HoloLens 2 питается на основе того же механизма, который поддерживает речь во всех других универсальных приложениях Windows, но нереально использует более ограниченный механизм для обработки голосовых данных.Voice input on HoloLens 2 is powered by the same engine that supports speech in all other Universal Windows Apps, but Unreal uses a more limited engine to process voice input. Это ограничивает возможности голосового ввода нереальными стандартными сопоставлениями речи, которые описаны в следующих разделах.This limits voice input features in Unreal to predefined speech mappings, which are covered in the following sections.

Включение распознавания речиEnabling Speech Recognition

При использовании подключаемого модуля Windows Mixed Reality речевой ввод не требует специальных интерфейсов API Windows Mixed Reality; Он основан на существующем API-интерфейсе сопоставления входных данных в нереального модуля 4.If you use Windows Mixed Reality Plugin, Voice input doesn’t require any special Windows Mixed Reality APIs; it's built on the existing Unreal Engine 4 Input mapping API. При использовании Опенкср следует дополнительно установить подключаемый модуль Microsoft опенкср.If you use OpenXR, you should additionally install Microsoft OpenXR plugin.

Включение распознавания речи в HoloLens:To enable speech recognition on HoloLens:

  1. Выберите Параметры проекта > платформа > HoloLens >ные возможности и включите микрофон.Select Project Settings > Platform > HoloLens > Capabilities and enable Microphone.
  2. Включено распознавание речи в параметрах > конфиденциальность > речи и выберите Английский.Enabled speech recognition in Settings > Privacy > Speech and select English.

Примечание

Функция распознавания речи всегда работает на языке интерфейса Windows, настроенном в приложении " Параметры ".Speech recognition always functions in the Windows display language configured in the Settings app. Рекомендуется также включить Распознавание речи в Интернете , чтобы обеспечить лучшее качество обслуживания.It’s recommended that you also enable Online speech recognition for the best service quality.

Параметры распознавания речи Windows

  1. При первом запуске приложения отобразится диалоговое окно с запросом на включение микрофона.A dialog will show up when the application first starts to ask if you want to enable the microphone. Выбор параметра Да запускает голосовое входное значение в приложении.Selecting Yes starts voice input in the app.

Добавление сопоставлений речиAdding Speech Mappings

Подключение речи к действию является важным шагом при использовании голосового ввода.Connecting speech to action is an important step when using voice input. Эти сопоставления отслеживают ключевые слова приложения для речи, которые пользователь может сказать, а затем запускают связанное действие.These mappings monitor the app for speech keywords that a user might say, then fire off a linked action. Сопоставления речи можно найти, выполнив следующие действия.You can find Speech Mappings by:

  1. Выберите изменить > параметры проекта, прокрутите до раздела подсистема и выберите входные данные.Selecting Edit > Project Settings, scrolling to the Engine section, and clicking Input.

Чтобы добавить новое сопоставление речи для команды перехода, выполните следующие действия.To add a new Speech Mapping for a jump command:

  1. Щелкните + значок рядом с элементом массив и заполните следующие значения:Select the + icon next to Array elements and fill out the following values:
    • жумпворд для имени действияjumpWord for Action Name
    • Перейти к ключевому слову речиjump for Speech Keyword

Примечание

В качестве ключевого слова можно использовать любые английские слова или короткие предложения.Any English word(s) or short sentence(s) can be used as a keyword.

Входные параметры модуля UE4

Сопоставления речи можно использовать в качестве входных компонентов, таких как сопоставление действий или осей, или как узлы схемы в графе событий.Speech Mappings can be used as Input components like Action or Axis Mappings or as blueprint nodes in the Event Graph. Например, можно связать команду перехода, чтобы напечатать два разных журнала в зависимости от того, когда речь идет об слове:For example, you could link the jump command to print out two different logs depending on when the word is spoken:

  1. Дважды щелкните проект, чтобы открыть его в графе событий.Double-click a blueprint to open it in the Event Graph.
  2. Щелкните правой кнопкой мыши и найдите имя действия для сопоставления речи (в данном случае это жумпворд), а затем нажмите клавишу Ввод , чтобы добавить узел входного действия в граф.Right-click and search for the Action Name of your speech mapping (in this case jumpWord), then hit Enter to add an Input Action node to the graph.
  3. Перетащите выделенный ПИН - код для печати строкового узла, как показано на рисунке ниже.Drag and drop the Pressed pin to Print String node as shown in the image below. Освобожденный ПИН-код можно оставить пустым, он не будет выполнять никаких действий для сопоставления речи.You can leave the Released pin empty, it won't execute anything for speech mappings.

Простое действие для голоса

  1. Воспроизводите приложение, скажем, Переходя по слову и посмотрите, что консоль печатает журналы!Play the app, say the word jump, and watch the console print out the logs!

Это все, что необходимо для того, чтобы добавить речевой ввод в приложения HoloLens в нереальном виде.That's all the setup you'll need to start adding voice input to your HoloLens apps in Unreal. Дополнительные сведения о речевых операциях и интерактивных действиях см. в приведенных ниже ссылках, а также о том, что вы создаете для пользователей.You can find more information on speech and interactivity at the links below, and be sure to think about the experience you're creating for your users.

Следующий этап разработкиNext Development Checkpoint

Если вы подготовились к нереальному разработку, мы разработали следующие задачи: изучение возможностей платформы смешанной реальности и API-интерфейсов.If you're following the Unreal development journey we've laid out, you're next task is exploring the Mixed Reality platform capabilities and APIs:

Вы можете в любой момент вернуться к этапам разработки для Unreal.You can always go back to the Unreal development checkpoints at any time.

См. также статьюSee also