Обзор разработки в Unreal

Unreal banner logo

Приступить к разработке приложений для смешанной реальности — масштабная задача. Отпугивать здесь может необходимость осваивать новые понятия, платформы и ультрасовременные периферийные устройства. Но если вы уже разрабатываете в Unreal, для вас есть хорошие новости. В Unreal Engine 4 реализована полная поддержка устройств Windows Mixed Reality (виртуальная реальность) и HoloLens 2 (дополненная реальность).

В последнюю версию Unreal Engine 4.26 входит следующее:

  • Поддержка новых API смешанной реальности между устройствами.
  • Поддержка OpenXR и подключаемый модуль Microsoft OpenXR.
  • подключаемый модуль проигрыватель мультимедиа HoloLens для эффективного воспроизведения видео;
  • Пространственные привязки Azure для iOS и Android (бета-версия);
  • Поддержка обратных подключений при удаленном взаимодействии, включение потоковой передачи из Azure в HoloLens 2.
  • Доступ к системной клавиатуре HoloLens 2.
  • Обеспечение соответствия для упакованных приложений с помощью комплекта сертификации приложений для Windows
  • Поддержка Unreal Insights для HoloLens 2.
  • поддержка контроллера HP Reverb G2.

Дополнительные сведения см. в заметках о выпуске.

Если же вы новичок в разработке с использованием Unreal, советуем сначала изучить наши материалы. Изучите серию руководств по Unreal и найдите нужные ресурсы в Unreal Marketplace. Кроме того, вы можете получить поддержку на форумах, посвященных смешанной реальности. Эти ресурсы помогут вам присоединиться к сообществу разработчиков и специалистов по решению задач на сегодняшнем рынке смешанной реальности.

Важно!

Ознакомьтесь с нашим руководством по переносу , если у вас есть существующий проект Unreal, который вы хотите перенести на иммерсивные гарнитуры, например Reverb G2.

Этапы разработки

Используйте следующие контрольные точки, чтобы реализовать свои игры и приложения Unreal в мире смешанной реальности. Если вы еще не изучили пример приложения для создания голограмм, рекомендуем скачать его. Пример поможет вам ознакомиться с основами пользовательских интерфейсов смешанной реальности.

1. Начало работы

Сначала необходимо установить инструменты для разработки на HoloLens 2. Затем изучите нашу серию руководств, чтобы получить базовое представление об инструментарии Смешанной реальности (надлежащим образом настроенной среде разработки для приложений смешанной реальности) и работающем проекте MRTK в Unreal. В Unreal 4.26 вы также можете разрабатывать приложения OpenXR для HoloLens 2.

Контрольная точка Результат
Установка последних средств Скачивание и установка последней версии Unreal Engine и настройка проекта для смешанной реальности.
Настройка проекта Получить последнюю версию Unreal Engine и MRTK
Создание первого приложения для HoloLens в Unreal Начало разработки в Unreal и на HoloLens путем создания простого приложения смешанной реальности.
Серия руководств по HoloLens 2 Настройка среды для разработки приложений смешанной реальности в Unreal, создание первого приложения с помощью MRTK и развертывание его на устройстве HoloLens 2.
Начало работы с OpenXR в Unreal Установите и включите следующий подключаемый модуль из Unreal Engine Marketplace:Подключаемый модуль Microsoft Windows Mixed Reality должен быть отключен.

Полный список поддерживаемых сейчас функций в OpenXR приведен ниже.

2. Основные компоненты

Ряд основных функций смешанной реальности не описан в нашей серии руководств. Эти стандартные блоки доступы в качестве отдельных функций и в Mixed Reality Toolkit. Скорее всего, вам потребуются только некоторые из них, но мы все равно рекомендуем заранее ознакомиться с их возможностями. Изучив стандартные блоки, приведенные ниже, вы сможете использовать набор функций, которые можно интегрировать в проект смешанной реальности.

Mixed Reality Toolkit для Unreal — это набор подключаемых модулей, призванных ускорить разработку в Unreal. В состав каждого из подключаемых модулей входят примеры кода, документация и компоненты, которые помогут вам в реализации иммерсивного взаимодействия с пользователем.

  • UX Tools для Unreal — первый выпускаемый подключаемый модуль. Сейчас его поддерживает только HoloLens 2. Подключаемый модуль включает в себя код на C++, схемы и примеры активов общих функций UX для имитации ввода, взаимодействий с помощью руки, притяжения к поверхности и много другого.

  • Graphics Tools для Unreal — это подключаемый модуль для игр на UE с кодом, схемами и примерами активов. Он призван помочь в улучшении графики приложений смешанной реальности с минимальным влиянием на производительность.

Функция Возможности
имитация ввода; Использование ввода с помощью мыши и клавиатуры в редакторе для имитации виртуального шлема (HMD) и функций отслеживания рук
Взаимодействие с рукой Взаимодействие с компонентами пользовательского интерфейса с помощью выраженного ввода движениями рук
Нажимаемая кнопка Задание состояния схем кнопок через низкоуровневые компоненты
Манипулятор. Перемещение и вращение субъекта с помощью ввода манипулированием одной или двумя руками
Отслеживание. Сохранение субъекта или компонента в поле зрения другого компонента

Примечание

Дополнительные сведения см. в репозитории UX Tools для Unreal на GitHub .

3. Дополнительные функции

Другие ключевые функции, которые играют важную роль в приложениях смешанной реальности, доступны без установки дополнительных пакетов или настройки. Такие функции можно добавить в проекты Unreal с установленным набором MRTK или без него. Изучив расширенные функции, вы сможете создавать более сложные приложения смешанной реальности.

Функция Возможности
Камера HoloLens Получение визуального содержимого смешанной реальности и физического мира из приложения, выполняющегося на устройстве HoloLens.
QR-коды Отрисовка QR-кодов в виде голограмм с использованием системы координат в физическом расположении каждого кода.
WinRT Создание отдельного двоичного файла с кодом WinRT, который может использоваться системой сборки Unreal.

4. Потоковая передача и развертывание на устройстве

Если в ходе разработки вы хотите протестировать приложение на устройстве HoloLens, вы можете выполнить его потоковую передачу непосредственно со своего компьютера через Unreal Editor или с помощью пакетного исполняемого файла Windows.

Если вы впервые развертываете приложение Unreal на HoloLens 2, вам потребуется скачать вспомогательные файлы из Epic Launcher. После установки этих файлов вы можете выполнить развертывание из Unreal Editor или с портала устройств.

5. Добавление служб

На этом этапе разработки вам, возможно, потребуется добавить службы или получить помощь в коммерческой разработке. Интеграция облачных служб Azure позволяет значительно расширить возможности ваших проектов. Мы подготовили несколько основных ресурсов, которые расширят ваши знания о смешанной реальности.

Пространственные привязки Azure (ASA) — это кросс-платформенная служба, позволяющая создавать приложения смешанной реальности с поддержкой пространственных данных. С помощью Пространственных привязок Azure вы можете картировать, сохранять голографическое содержимое и предоставлять к нему доступ на различных устройства и в реальном масштабе.

6. Альтернативные варианты с возможностью малокодовой разработки (Low-code)

Microsoft Dynamics 365 Guides — это приложение смешанной реальности для Microsoft HoloLens, которое позволяет операторам обучаться в ходе работы, предоставляя при необходимости голографические инструкции. Такие карточки инструкций визуально привязаны к месту выполнения работы и могут включать изображения, видео и трехмерные голографические модели.

Дальнейшие действия

Разработчику всегда будет чем заняться, особенно при изучении нового инструмента или пакета SDK. В приведенных ниже разделах вы найдете информацию для более опытных разработчиков, а также полезные ресурсы, которые помогут вам, если у вас возникнут трудности. Учтите, что эти темы и ресурсы не имеют определенного порядка, поэтому вы можете изучать их в любой последовательности.

Отладка

Если вы хотите выполнить отладку приложения с помощью Visual Studio, когда оно работает на устройстве, следуйте этим инструкциям.

Производительность

При разработке для смешанной реальности необходимо учитывать требования к производительности, которые зависят от платформы. Приложение HoloLens 2 должно обрабатывать 60 кадров в секунду, чтобы голограммы работали стабильно и с приемлемым временем отклика. Повысить производительность в приложениях Unreal можно, выполнив наши рекомендации.

Поддерживаемые компоненты

Функция HoloLens 2 Самая ранняя поддерживаемая версия Unreal Engine Поддерживается в OpenXR (4.26 и более поздней версии)
Поддержка ARM64 4.23 ✔️
Потоковая передача с компьютера 4.23 ✔️
пространственное сопоставление 4.23 ✔️
Отслеживание рук и суставов 4.23 ✔️
Отслеживание взгляда 4.23 ✔️
Голосовой ввод 4.23 ✔️
Пространственные привязки 4.23 ✔️
Доступ к камере 4.23 ✔️
QR-коды 4.23 ✔️
Пространственный звук 4.23 ✔️
Планарные координаты LSR при потоковой передаче 4.24
Примеры приложений 4.24 ✔️
Просмотр на нескольких мобильных устройствах: Производительность до 60 кадров/с 4.25 ✔️
Потоковая передача из упакованного классического приложения 4.25.1 ✔️
Пространственные привязки Azure для HoloLens 2 4.25 ✔️
Поддержка Mixed Reality UX Tools 4.25 ✔️
Документация и руководства для разработчиков 4.25 ✔️
Системная клавиатура 4.26 ✔️
Подключаемый модуль медиапроигрывателя HoloLens 4.26 ✔️
Пространственные привязки Azure для iOS и Android 4.26
Подключаемый модуль Microsoft OpenXR с расширениями OpenXR для отдельных поставщиков 4.26 ✔️
Потоковая передача из Azure в HoloLens 2 4.26 ✔️
Обеспечение соответствия для упакованных приложений с помощью комплекта сертификации приложений для Windows 4.26 ✔️
Поддержка контроллера HP Reverb G2 4.26 ✔️

См. также статью