Обзор облачных служб смешанной реальности Azure
Предоставьте средства для взаимодействия с трехмерным миром — то, в чем каждый человек является специалистом, — с помощью служб смешанной реальности Azure. Повысьте продуктивность людей в творчестве, учебе и совместной работе, сохраняя и отображая цифровую информацию в контексте их работы и мира. Реализуйте возможности трехмерного отображения на мобильных устройствах, гарнитурах и других неподключенных устройствах. С помощью Azure обеспечьте защиту наиболее важной информации.
Службы смешанной реальности
Облачные службы смешанной реальности, такие как Удаленная отрисовка Azure и Пространственные привязки Azure помогают разработчикам создавать интересные иммерсивные взаимодействия на различных платформах. Такие службы позволяют вам интегрировать в свои проекты возможности для отслеживания пространственного положения при создании приложений для обучения с использованием трехмерных моделей, прогнозного обслуживания оборудования и анализа проектов с учетом контекста сред ваших пользователей.
Удаленная отрисовка Azure
Удаленная отрисовка Azure (ARR) — это служба, которая позволяет преобразовывать для просмотра трехмерные модели высокой сложности в реальном времени и выполнять их потоковую передачу на устройство. Сейчас ARR предоставляется в общедоступной предварительной версии. Ее также можно использовать в проектах Unity или с собственным кодом C++, предназначенных для HoloLens 2 или компьютеров с Windows.
Удаленная отрисовка Azure — это важный компонент любого приложения смешанной реальности, которое выполняется на мобильном устройстве, так как оно имеет меньшую вычислительную мощность. В качестве примера рассмотрим следующее сравнение модели двигателя: точная модель слева имеет более 18 млн треугольников, а упрощенная модель справа — всего около 200 тыс. В сценариях, где важна каждая деталь, например управление промышленным предприятием, экспертиза проектов для создания таких объектов, как двигатели грузовых автомобилей, предоперационное планирование хирургических операций и т. д., трехмерная визуализация очень полезна. Она упрощает восприятие информации для конструкторов, инженеров, врачей и учащихся, благодаря чему они могут принимать более взвешенные решения. Но следствием такого упрощения может быть ухудшение детализации, которая критически важна для решений, касающихся бизнеса и проектирования.
Удаленная отрисовка Azure решает эту проблему, перемещая рабочую нагрузку отрисовки на высокопроизводительные графические процессоры в облаке. Облачный обработчик графики принимает и визуализирует изображение, кодирует его как видеопоток и транслирует модель непосредственно на целевое устройство.
- При обработке сложных моделей, с которыми может не справиться один высокопроизводительный GPU, Удаленная отрисовка распределяет рабочую нагрузку на несколько GPU и совершенно прозрачно для пользователя объединяет результат в одно изображение.
Кроме того, с этой службой вы можете использовать в своем приложении любой пользовательский интерфейс. При завершении подготовки кадра автоматически выполняется объединение локально подготовленного содержимого с удаленным изображением, как показано на рисунке ниже:
Пространственные привязки Azure
Пространственные привязки Azure (ASA) — это кросс-платформенная служба, позволяющая создавать приложения смешанной реальности с поддержкой пространственных данных. С помощью Пространственных привязок Azure вы можете картировать, сохранять голографическое содержимое и предоставлять к нему доступ на различных устройства и в реальном масштабе. Служба Azure Object Anchors доступна в предварительной версии, и ее можно использовать для своих приложений.
Служба Пространственных привязок Azure адаптирована к распространенным вариантам использования в смешанной реальности, включая:
- Навигация. Сценарии, где две или больше пространственных привязки могут быть соединены для создания списка задач или объектов, с которыми должен взаимодействовать пользователь.
- Многопользовательский интерфейс. Сценарии, где пользователи могут поочередно выполнять действия, взаимодействуя с объектами в одном виртуальном пространстве.
- Сохранение виртуального содержимого в реальном мире. Сценарии, где пользователи могут размещать виртуальные объекты в реальном мире для их просмотра на других поддерживаемых устройствах.
Разработку с использованием этой службы можно вести в разных средах. Кроме того, ее можно развернуть на самых различных устройствах и платформах. Доступные платформы для развертывания службы:
- Unity для HoloLens;
- Unity для iOS;
- Unity для Android;
- нативные приложения для iOS;
- Нативные приложения для Android
- C++/WinRT и DirectX для HoloLens;
- Xamarin для iOS;
- Xamarin для Android.
Azure Object Anchors
Azure Object Anchors (AOA) — это служба смешанной реальности, которая позволяет создавать полнофункциональные иммерсивные интерфейсы, автоматически выравнивая 3D-содержимое относительно физических объектов. Получите контекстное представление об объектах без необходимости использовать маркеры или выравнивать объекты вручную. Служба существенно сокращает ручную работу и вероятность ошибок выравнивания, а также обеспечивает лучшее взаимодействие с пользователем в составе создаваемых приложений смешанной реальности.
Служба Azure Object Anchors создана специально для вариантов использования смешанной реальности, в том числе:
- для обучения — создавайте для своих сотрудников обучающие функции в смешанной реальности без необходимости вручную размещать маркеры или настраивать выравнивание для голограмм;
- для руководств по выполнению задач — смешанная реальность существенно упрощает подробное объяснение сотрудникам ряда задач;
- для поиска ресурсов — если уже есть трехмерная модель какого-либо объекта в физическом пространстве, Azure Object Anchors позволит обнаруживать и отслеживать экземпляры этого объекта в физической среде.
Cognitive Services
Речь
Узнайте, как служба Речи обеспечивает интеграцию возможностей для обработки речи в любое приложение или службу. Преобразовывайте речь в текст или синтезируйте естественную речь из текста с использованием стандартных (или настраиваемых) вариантов голоса. Опробуйте любую службу бесплатно и быстро создавайте приложения и службы с поддержкой голосовых функций с помощью следующих возможностей.
Компьютерное зрение
Распознавайте, идентифицируйте, подписывайте, индексируйте и модерируйте свои изображения, видео и цифровое содержимое рукописного ввода. Узнайте, как Компьютерное зрение позволяет приложениям и службам точно идентифицировать и анализировать содержимое в изображениях, цифровом содержимом рукописного ввода и на видео.
Изолированные службы Unity
Изолированные службы, перечисленные ниже, не относятся к смешанной реальности, но могут быть полезны в самых разных контекстах разработки. Если вы ведете разработку на Unity, каждую из таких служб можно интегрировать в новые или существующие проекты.
Поддержка устройств
| Облачная служба Azure | HoloLens 1-го поколения | Иммерсивные гарнитуры |
| Перевод с одного языка на другой | ✔️ | ✔️ |
| Компьютерное зрение | ✔️ | ✔️ |
| Пользовательское визуальное распознавание | ✔️ | ✔️ |
| Уведомления на разных устройствах | ✔️ | ✔️ |
| Распознавание лиц | ✔️ | ✔️ |
| Функции и хранилище | ✔️ | ✔️ |
| Потоковое видео | ❌ | ✔️ |
| Машинное обучение | ✔️ | ✔️ |
| Функции и хранилище | ✔️ | ✔️ |
| Application Insights | ✔️ | ✔️ |
| Обнаружение объектов | ✔️ | ✔️ |
| Microsoft Graph | ✔️ | ✔️ |
| Интеграция ботов | ✔️ | ✔️ |
См. также раздел
- Руководства по Пространственным привязкам Azure для HoloLens 2, часть 1 из 3, "Начало работы с Пространственными привязками Azure"
- Руководства по использованию службы "Речь" для HoloLens 2, часть 1 из 4, "Интеграция и использование средств распознавания и транскрибирования речи"