Обзор разработки в UnrealUnreal Development Overview

Баннер с логотипом Unreal

Приступить к разработке приложений для смешанной реальности — масштабная задача.Getting started with mixed reality applications is a big task. Отпугивать здесь может необходимость осваивать новые понятия, платформы и ультрасовременные периферийные устройства.New concepts, platforms, and cutting edge hardware can seem like barriers. Но если вы уже разрабатываете в Unreal, для вас есть хорошие новости.However, if you're an Unreal developer you're in luck. В последнем выпуске Unreal Engine реализована поддержка Windows Mixed Reality (смешанной реальности) и HoloLens 2 (дополненной реальности).Support for Windows Mixed Reality (VR) and HoloLens 2 (AR) is now included in Unreal Engine's newest release. Особенности этого обновления:This update includes:

  • поддержка подключаемого модуля средств UX смешанной реальности;Mixed Reality UX Tools plugin support
  • поддержка OpenXR;OpenXR support
  • удаленное взаимодействие с приложениями из настольного приложения;App Remoting from a desktop app
  • более высокая производительность;Better performance
  • Смешанный захват реальностиMixed reality capture
  • начальная поддержка пространственных привязок Azure.Initial support for Azure Spatial Anchors

Если же вы новичок в разработке с использованием Unreal, советуем сначала изучить наши материалы:If you're new to Unreal development don't jump in blind. ознакомьтесь с серией руководств по Unreal, чтобы войти в курс дела, и воспользуйтесь материалами и поддержкой, которые вы найдете на площадке Unreal Marketplace и на форумах по смешанной реальности.Explore the Unreal tutorial series to get up to speed and look for assets and support in the Unreal marketplace and mixed reality forums. Эти ресурсы послужат вам путевкой в сообщество разработчиков и специалистов по решению задач на сегодняшнем рынке смешанной реальности.These resources are your links to the community of builders and problem solvers in todays mixed reality market.

Этапы разработкиDevelopment checkpoints

Используйте следующие контрольные точки, чтобы реализовать свои игры и приложения Unreal в мире смешанной реальности.Use the following checkpoints to bring your Unreal games and applications into the world of mixed reality. Если вы еще не ознакомились с примером приложения для создания голограмм, мы рекомендуем скачать и использовать его для ознакомления с основными сведениями о пользовательском интерфейсе Смешанной реальности.If you haven't already explored the Designing Holograms sample application, we recommend downloading and using it to familiarize yourself with the basics of Mixed Reality UX.

1. Начало работы1. Getting started

Набор средств для смешанной реальности для Unreal — это набор компонентов, призванных ускорить разработку в Unreal.The Mixed Reality Toolkit for Unreal is a set of components designed to speed up your development in Unreal. В состав каждого из компонентов входят подключаемые модули, примеры кода и документация, которые помогут вам в реализации иммерсивного взаимодействия с пользователем.Each component includes plugins, samples, and documentation for setting up immersive experiences.

  • Средства UX для Unreal — первый выпускаемый компонент. В настоящее время он поддерживается только в HoloLens 2.UX Tools for Unreal is the first component to be released and is currently only supported on HoloLens 2. Подключаемый модуль компонента включает код, схемы и примеры ресурсов распространенных функций пользовательского интерфейса для имитации ввода, субъектов взаимодействия с рукой, компонентов кнопок для нажатия, компонентов манипуляторов и компонентов следования поведению.The component plugin includes code, blueprints, and example assets of common UX features for input simulation, hand interaction actors, press-able button components, manipulator components and follow behavior components.

Этот раздел позволит вам получить базовое представление о Mixed Reality Toolkit, надлежащим образом настроенной среде разработки для приложений смешанной реальности, и поможет создать в Unreal работающий проект MRTK.By the end of this section, you'll have a basic understanding of the Mixed Reality Toolkit, a properly configured development environment for Mixed Reality apps, and a working MRTK project in Unreal.

Контрольная точкаCheckpoint РезультатOutcome
Установка последних средствInstall the latest tools Скачивание и установка последней версии пакета Unity и настройка проекта для смешанной реальности.Download and install the latest Unity package and setup your project for mixed reality
Серия руководств по HoloLens 2HoloLens 2 tutorial series Ознакомление с руководствами по MRTK начального уровня для работы с оборудованием HoloLens 2.Dive into beginner level MRTK tutorials for HoloLens 2 hardware

2. Основные компоненты2. Core building blocks

Ряд ключевых функций смешанной реальности не описан в нашей серии руководств по разработке.There are several key features of mixed reality development that our tutorial series doesn't cover. Эти стандартные блоки доступы в качестве отдельных функций и в Mixed Reality Toolkit.These building blocks are available as standalone features and through the Mixed Reality Toolkit. Скорее всего, вам потребуются только некоторые из них, но мы все равно рекомендуем заранее ознакомиться с их возможностями.You might not need all of them at once, but we recommend exploring early on. Изучив стандартные блоки, приведенные ниже, вы сможете использовать набор функций, которые можно интегрировать в проект смешанной реальности.After diving into the core building blocks listed below, you'll have a toolbox full of features you can integrate into your Mixed Reality projects.

Feature Capabilities
Input simulation Use mouse and keyboard input in the editor to simulate a Head-Mounted Display (HMD) and hand tracking features
Hand interaction Interact with UX components using articulated hand inputs
Pressable button component Drive the state of button blueprints through low level components
Manipulator component Move and rotate an actor with one or two-hand manipulation input
Follow behavior component Keep an actor or component within sight of another component

Примечание

Дополнительные сведения см. в репозитории UX Tools для Unreal на GitHub .You can dive into the UX Tools for Unreal GitHub repository for more details.

3. Возможности и интерфейсы API платформы3. Platform capabilities and APIs

Другие ключевые функции, которые играют важную роль в приложениях смешанной реальности, доступны без установки дополнительных пакетов или настройки.Other key features that play a role in mixed reality applications are available without any extra packages or setup. Такие функции можно добавить в проекты Unreal с установленным набором MRTK или без него.These features can be added to Unreal projects with or without MRTK installed. Изучив расширенные функции, вы сможете создавать более сложные приложения смешанной реальности.After diving into these more advanced capabilities, you'll be able to build more complex Mixed Reality apps.

ФункцияFeature ВозможностиCapabilities
Камера HoloLensHoloLens camera Получение визуального содержимого смешанной реальности и физического мира из приложения, выполняющегося на устройстве HoloLens.Capture Mixed Reality and real-world visual content from your app running on a HoloLens device
QR-кодыQR codes Отрисовка QR-кодов в виде голограмм с использованием системы координат в физическом расположении каждого кода.Render QR codes as holograms using a coordinate system at each code's real-world position
WinRTWinRT Создание отдельного двоичного файла с кодом WinRT, который может использоваться системой сборки Unreal.Create a separate binary with WinRT code that can be consumed by Unreal’s build system

4. Развертывание на устройстве4. Deploying to a device

Если вы впервые создаете или развертываете приложение Unreal для HoloLens, вам потребуется скачать вспомогательные файлы из Epic Launcher.If this is your first time creating or deploying an Unreal app for HoloLens, you'll need to download supporting files from the Epic Launcher. После установки этих файлов вы можете выполнить развертывание из Unreal Editor или с портала устройств.Once you have those files installed, you're ready to deploy from either the Unreal editor or the Device Portal.

5. Добавление служб5. Adding services

На этом этапе разработки вам, возможно, потребуется добавить службы или получить помощь в коммерческой разработке.At this point in your development journey you might be looking to add services or for a helping hand with commercial deployment. Интеграция облачных служб Azure и функций Dynamics 365 позволяет значительно расширить возможности ваших проектов.Integrating Azure Cloud Services and Dynamics 365 features can level up your projects in a major way. Мы подготовили несколько основных ресурсов, которые расширят ваши знания о смешанной реальности.We've compiled a few starting points for you to explore and expand your Mixed Reality knowledge.

Azure Spatial Anchors (ASA) is a cross-platform service that allows you to build spatially aware mixed reality applications. With Azure Spatial Anchors, you can map, persist, and share holographic content across multiple devices, at real-world scale.

Дальнейшие действияWhat's next?

Разработчику всегда будет чем заняться, особенно при изучении нового инструмента или пакета SDK.A developers job is never done, especially when learning a new tool or SDK. В приведенных ниже разделах вы найдете информацию для более опытных разработчиков, а также полезные ресурсы, которые помогут вам, если у вас возникнут трудности.The following sections can take you into areas beyond the beginner level material you've already completed, along with helpful resources if you get stuck. Учтите, что эти темы и ресурсы не имеют определенного порядка, поэтому вы можете изучать их в любой последовательности.Note that these topics and resources are not in any sequential order, so feel free to jump around and explore!

Потоковая передача и отладкаStreaming & Debugging

Если в ходе разработки вы хотите протестировать приложение на устройстве HoloLens, вы можете выполнить его потоковую передачу непосредственно со своего компьютера через Unreal Editor или с помощью пакетного исполняемого файла Windows.If you want to test out your application on a HoloLens device while still in development, you can stream it directly from your PC by using either the Unreal editor or a packaged Windows executable file.

Если вы хотите выполнить отладку приложения с помощью Visual Studio, выполните следующие инструкции.If you're looking to debug the application with Visual Studio, follow these instructions.

ПроизводительностьPerformance

При разработке для смешанной реальности необходимо учитывать требования к производительности, которые зависят от платформы.Developing for mixed reality comes with performance checkpoints that depend on the platform. Приложение HoloLens 2 должно обрабатывать 60 кадров в секунду, чтобы голограммы работали стабильно и с приемлемым временем отклика.A HoloLens 2 app must run at 60 frames per second for holograms to appear stable and responsive. Достичь этого в приложениях Unreal можно, выполнив наши рекомендации по повышению производительности.Luckily, we have performance recommendations for achieving this in your Unreal applications.

Поддерживаемые компонентыSupported Features

Функция HoloLens 2HoloLens 2 Feature Самая ранняя поддерживаемая версия Unreal EngineEarliest Supported Unreal Engine Version
Поддержка ARM64ARM64 support 4.234.23
Потоковая передача с компьютераStreaming from a PC 4.234.23
пространственное сопоставлениеSpatial mapping 4.234.23
Отслеживание рук и суставовHand and joint tracking 4.234.23
Отслеживание взглядаEye tracking 4.234.23
Голосовой вводVoice input 4.234.23
Пространственные привязкиSpatial anchors 4.234.23
Доступ к камереCamera access 4.234.23
QR-кодыQR codes 4.234.23
Пространственный звукSpatial audio 4.234.23
Поддержка потоковой передачи на экран для зрителейSpectator Screen support for streaming 4.244.24
Планарные координаты LSR при потоковой передачеPlanar LSR over streaming 4.244.24
Примеры приложений (HoloLens2Example и Mission AR)Sample apps (HoloLens2Example and Mission AR) 4.244.24
Просмотр на нескольких мобильных устройствах: Производительность до 60 кадров/сMobile multi-View: Performance hits 60 fps 4.254.25
Отрисовка для третьей камеры3rd camera render 4.254.25
Потоковая передача из упакованного классического приложенияStreaming from a packaged desktop app 4.25.14.25.1
Пространственные привязки Azure для HoloLens 2 (бета-версия)Azure Spatial Anchors for HoloLens 2 (beta) 4.254.25
Поддержка OpenXR (бета-версия)OpenXR support (beta) 4.254.25
Поддержка средств UX (0.8)UX Tools support (0.8) 4.254.25
Документация и руководства для разработчиковDeveloper docs & tutorials 4.254.25

См. также статьюSee also