Проектирование архитектуры смешанной реальности
Смешанная реальность — это сочетание физических и цифровых миров, которые разблокируют естественное и интуитивно понятное трехмерное взаимодействие человека, компьютера и окружающей среды. Такая новая реальность стала возможной благодаря развитию систем компьютерного зрения, графической обработки, технологий для дисплеев, систем ввода и облачных вычислений.
На следующей схеме Венна показано взаимодействие между компьютерами, людьми и средой в смешанной реальности:
Пол Милграмм и Фумио Kishino ввели термин смешанной реальности в документе 1994 года, таксономии смешанной реальности Визуальные отображения. В документе рассматривается концепция континуума виртуальности и таксономии визуальных дисплеев. С тех пор применение смешанной реальности вышло за рамки использования дисплеев:
- Осведомленность об окружающей среде с пространственным сопоставлением и привязками.
- Человеческие ответы, такие как отслеживание рук, отслеживание глаз и входные данные речи.
- Пространственный звук.
- Расположение и позиционирование в физическом и виртуальном пространствах.
- Совместная работа над трехмерными ресурсами в пространствах смешанной реальности.
Смешанная реальность состоит из нескольких типов приложений:
- Расширенные приложения среды (только HoloLens) размещают цифровые сведения или содержимое в текущей среде пользователя.
- Приложения смешанной среды создают цифровой слой, который накладывает пространство пользователя.
- Иммерсивные приложения создают среду, которая полностью изменяет мир пользователя и может размещать их в другом времени и пространстве.
На следующем рисунке показана континуум приложений смешанной реальности от физической до цифровой реальности:
Службы смешанной реальности Azure
Несколько служб Azure помогают разработчикам создавать убедительные возможности смешанной реальности на различных платформах. Службы смешанной реальности Azure помогают людям создавать, учиться и сотрудничать в собственном контексте путем привлечения трехмерных устройств к мобильным устройствам, гарнитурам и другим неуправляемым устройствам. Все службы Azure создаются в комплексных возможностях безопасности и соответствия требованиям.
Azure Удаленная отрисовка позволяет отображать сложные трехмерные модели в режиме реального времени и передавать их на устройство. Вы можете добавить Azure Удаленная отрисовка в Unity или собственные проекты C++, предназначенные для настольных пк HoloLens 2 или Windows.
Пространственные привязки Azure — это кроссплатформенная служба, которая позволяет создавать приложения смешанной реальности с пространственной поддержкой. С помощью пространственных привязок можно сопоставлять, сохранять и совместно использовать голографическое содержимое на нескольких устройствах в реальном масштабе.
Привязки объектов Azure — это служба смешанной реальности, которая помогает создавать широкие и иммерсивные возможности, автоматически выравнивая трехмерное содержимое с физическими объектами. Привязки объектов позволяют получить контекстное представление об объектах без необходимости маркеров или выравнивания вручную.
Учебные ресурсы Microsoft Learn
Microsoft Learn — это бесплатная онлайн-платформа, которая предоставляет интерактивное обучение для продуктов Майкрософт.
Введение в смешанную реальность
Если вы не знакомы с смешанной реальностью, лучше всего узнать о экосистеме— введение в схему обучения смешанной реальности, которая предоставляет базовые знания о основных понятиях смешанной реальности, виртуальной реальности, дополненной реальности, голограммах и создании трехмерных приложений.
Создание интерфейса смешанной реальности
Если вы являетесь промежуточным и расширенным разработчиком с предыдущим опытом работы с смешанной, дополненной или виртуальной реальностью, проверка основы HoloLens 2: разработка серии учебников по приложениям смешанной реальности. В этом руководстве вы можете создать интерфейс смешанной реальности, который позволяет пользователям изучать голограмму, моделированную после Марса Марса Марсохода. В этом руководстве вы узнаете о Смешанная реальность набор средств (MRTK) и показывает, как MRTK может ускорить процесс разработки.
Проектирование смешанной реальности и прототипирование
Прежде чем приступить к разработке и созданию прототипов программного обеспечения смешанной реальности, ознакомьтесь со следующими статьями:
- Руководство по проектированию смешанной реальности
- Основные понятия смешанной реальности
- Типы приложений смешанной реальности
- Модели взаимодействия
- Обзор элементов пользовательского интерфейса
Путь к рабочей среде
Выберите подсистему смешанной реальности, которую вы хотите использовать для разработки. Вы можете выбрать Unity, Unreal, native или web development paths.
Получите средства, необходимые для создания приложений для Microsoft HoloLens и Windows Смешанная реальность иммерсивных гарнитур и настройки.
Рекомендации
Следуйте этим рекомендациям по проектированию, разработке и доставке высококачественных приложений смешанной реальности.
- Дизайн содержимого для голографического отображения описывает элементы, которые следует учитывать для лучшего голографического интерфейса.
- Комфорт объясняет, как создать и представить содержимое, которое имитирует подсказки в естественном мире и избегает утомляющих движений.
- Рекомендации по пространственному звуку обсуждают использование звука для информирования и укрепления психической модели пользователя в мире смешанной реальности.
- Обзор критериев качества приложений представляет основные факторы, влияющие на качество приложения смешанной реальности.
Сценарии и идеи решения
Следующие реализации и идеи иллюстрируют некоторые способы адаптации и настройки смешанной реальности для различных сценариев.
- Общий доступ в смешанной реальности
- Бесплатный роуминг многопользовательских виртуальных реальностей
- Прототипирование и производство для предприятий
- Обучение и моделирование для предприятий
- Иммерсивное образование
- Тематические парки и семейные развлекательные центры
- Виртуальные музеи, выставки и туризм
- Аркады виртуальной реальности
Идеи решения:
- Обзор проектирования с смешанной реальностью
- Управление объектами с смешанной реальностью и IoT
- Обучение и процедурное руководство с смешанной реальностью
Оставайтесь в курсе смешанной реальности
Смешанная реальность быстро меняется. Изучите расширяющийся мир приложений смешанной реальности с помощью Смешанная реальность набор средств (MRTK), Windows Смешанная реальность, Unity, Unreal и многое другое для HoloLens и Иммерсивных гарнитур Windows.
Обратная связь
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделе https://aka.ms/ContentUserFeedback.
Отправить и просмотреть отзыв по