Обзор облачных служб смешанной реальности Azure

 Изображение с Пространственными привязками Azure

Предоставьте средства для взаимодействия с трехмерным миром — то, в чем каждый человек является специалистом, — с помощью служб смешанной реальности Azure. Повысьте продуктивность людей в творчестве, учебе и совместной работе, сохраняя и отображая цифровую информацию в контексте их работы и мира. Реализуйте возможности трехмерного отображения на мобильных устройствах, гарнитурах и других неподключенных устройствах. С помощью Azure обеспечьте защиту наиболее важной информации.

Службы смешанной реальности

Облачные службы смешанной реальности, такие как Удаленная отрисовка Azure и Пространственные привязки Azure помогают разработчикам создавать интересные иммерсивные взаимодействия на различных платформах. Такие службы позволяют вам интегрировать в свои проекты возможности для отслеживания пространственного положения при создании приложений для обучения с использованием трехмерных моделей, прогнозного обслуживания оборудования и анализа проектов с учетом контекста сред ваших пользователей.

Удаленная отрисовка Azure

Удаленная отрисовка Azure (ARR) — это служба, которая позволяет преобразовывать для просмотра трехмерные модели высокой сложности в реальном времени и выполнять их потоковую передачу на устройство. Удаленная отрисовка в настоящее время предоставляется в общедоступной предварительной версии и может быть добавлена в проекты Unity или C++, предназначенные для HoloLens 2 или компьютеров с Windows.

Удаленная отрисовка Azure — это важный компонент любого приложения смешанной реальности, которое выполняется на мобильном устройстве, так как оно имеет меньшую вычислительную мощность. В качестве примера рассмотрим следующее сравнение модели двигателя: точная модель слева имеет более 18 млн треугольников, а упрощенная модель справа — всего около 200 тыс. В сценариях, где важна каждая деталь, например управление промышленным предприятием, экспертиза проектов для создания таких объектов, как двигатели грузовых автомобилей, предоперационное планирование хирургических операций и т. д., трехмерная визуализация очень полезна. Она упрощает восприятие информации для конструкторов, инженеров, врачей и учащихся, благодаря чему они могут принимать более взвешенные решения. Но следствием такого упрощения может быть ухудшение детализации, которая критически важна для решений, касающихся бизнеса и проектирования.

Пример использования службы "Удаленная отрисовка Azure" в демонстрационном приложении Unity

Удаленная отрисовка Azure решает эту проблему, перемещая рабочую нагрузку отрисовки на высокопроизводительные графические процессоры в облаке. Облачный обработчик графики принимает и визуализирует изображение, кодирует его как видеопоток и транслирует модель непосредственно на целевое устройство.

  • При обработке сложных моделей, с которыми может не справиться один высокопроизводительный GPU, Удаленная отрисовка распределяет рабочую нагрузку на несколько GPU и совершенно прозрачно для пользователя объединяет результат в одно изображение.

Кроме того, с этой службой вы можете использовать в своем приложении любой пользовательский интерфейс. При завершении подготовки кадра автоматически выполняется объединение локально подготовленного содержимого с удаленным изображением, как показано на рисунке ниже:

Пример использования службы "Удаленная отрисовка Azure" в демонстрационном приложении Unity

Пространственные привязки Azure

Пространственные привязки Azure (ASA) — это кросс-платформенная служба, позволяющая создавать приложения смешанной реальности с поддержкой пространственных данных. С помощью Пространственных привязок Azure вы можете картировать, сохранять голографическое содержимое и предоставлять к нему доступ на различных устройства и в реальном масштабе.

Служба Пространственных привязок Azure специально адаптирована к распространенным вариантам использования в смешанной реальности, в том числе к следующим:

  • Навигация. Сценарии, где две или больше пространственных привязки могут быть соединены для создания списка задач или объектов, с которыми должен взаимодействовать пользователь.
  • Многопользовательский интерфейс. Сценарии, где пользователи могут поочередно выполнять действия, взаимодействуя с объектами в одном виртуальном пространстве.
  • Сохранение виртуального содержимого в реальном мире. Сценарии, где пользователи могут размещать виртуальные объекты в реальном мире для их просмотра на других поддерживаемых устройствах.

Пример использования службы "Пространственные привязки Azure"

Разработку с использованием этой службы можно вести в разных средах. Кроме того, ее можно развернуть на самых различных устройствах и платформах. Доступные платформы для развертывания службы:

  • Unity для HoloLens;
  • Unity для iOS;
  • Unity для Android;
  • нативные приложения для iOS;
  • Нативные приложения для Android
  • C++/WinRT и DirectX для HoloLens;
  • Xamarin для iOS;
  • Xamarin для Android.

Cognitive Services

Speech

Речь

Узнайте, как служба Речи обеспечивает интеграцию возможностей для обработки речи в любое приложение или службу. Преобразовывайте речь в текст или синтезируйте естественную речь из текста с использованием стандартных (или настраиваемых) вариантов голоса. Опробуйте любую службу бесплатно и быстро создавайте приложения и службы с поддержкой голосовых функций с помощью следующих возможностей.


Компьютерное зрение

Компьютерное зрение

Распознавайте, идентифицируйте, подписывайте, индексируйте и модерируйте свои изображения, видео и цифровое содержимое рукописного ввода. Узнайте, как Компьютерное зрение позволяет приложениям и службам точно идентифицировать и анализировать содержимое в изображениях, цифровом содержимом рукописного ввода и на видео.

Изолированные службы Unity

Изолированные службы, перечисленные ниже, не относятся к смешанной реальности, но могут быть полезны в самых разных контекстах разработки. Если вы ведете разработку на Unity, каждую из таких служб можно интегрировать в новые или существующие проекты.

Поддержка устройств

Облачная служба Azure HoloLens 1-го поколения Иммерсивные гарнитуры
Перевод с одного языка на другой ✔️ ✔️
Компьютерное зрение ✔️ ✔️
Пользовательское визуальное распознавание ✔️ ✔️
Уведомления на разных устройствах ✔️ ✔️
Распознавание лиц ✔️ ✔️
Функции и хранилище ✔️ ✔️
Потоковое видео ✔️
Машинное обучение ✔️ ✔️
Функции и хранилище ✔️ ✔️
Application Insights ✔️ ✔️
Обнаружение объектов ✔️ ✔️
Microsoft Graph ✔️ ✔️
Интеграция ботов ✔️ ✔️

См. также раздел