Что такое смешанная реальность?

Смешанная реальность — это следующая волна в сфере вычислительных сред, которая стимулирует развитие мейнфреймов, ПК и смартфонов. Смешанная реальность должна стать общедоступной для потребителей и предприятий. Она освобождает нас от ограничений работы с экранами, позволяя использовать инстинктивные взаимодействия с данными у себя дома и со своими друзьями. Пользователи Интернета, число которых в мире насчитывает сотни миллионов, уже имеют взаимодействия со смешанной реальностью через портативные устройства. На сегодняшний день большинство распространенных решений смешанной реальности в социальных сетях предлагает мобильная дополненная реальность. Люди могут даже не осознавать, что фильтры дополненной реальности, которые они используют в Instagram, представляют собой примеры смешанной реальности. Windows Mixed Reality выводит все эти возможности взаимодействия на новый уровень благодаря поистине потрясающим голографическим представлений людей, высокоточным голографическим трехмерным моделям и реальному миру вокруг них.

Наведение и фиксация с использованием рук на HoloLens 2

Смешанная реальность — это сочетание физического и цифрового миров, обеспечивающее взаимодействие между человеком, компьютером и средой. Такая новая реальность стала возможной благодаря развитию систем компьютерного зрения, графической обработки, технологий для дисплеев, систем ввода и облачных вычислений. Термин "смешанная реальность" впервые появился в документе A Taxonomy of Mixed Reality Visual Displays (Таксономия визуальных дисплеев для смешанной реальности) за авторством Пола Милграма (Paul Milgram) и Фумио Кисино (Fumio Kishino) в 1994 г. В этом документе описана концепция виртуального континуума и таксономия визуальных дисплеев. С тех пор применение смешанной реальности вышло за рамки использования дисплеев:

  • Понимание рабочей среды: пространственное сопоставление и привязки.
  • Понимание человека: отслеживание рук, отслеживание взгляда и речевой ввод.
  • Пространственный звук.
  • Расположение и позиционирование в физическом и виртуальном пространствах.
  • Совместная работа над трехмерными ресурсами в пространствах смешанной реальности.

Изображение: спектр смешанной реальности
Изображение: смешанная реальность — это результат смешения физического и цифрового миров.



Ввод и восприятие через окружающую среду

В последние десятилетия отношения между людьми и компьютерами продолжали развиваться благодаря развитию методов ввода. Возникла новая дисциплина, известная как человеко-компьютерное взаимодействие (Human-Computer Interaction, HCI). Предоставляемые человеческом входные данные могут поступать с помощью клавиатуры, мыши, прикосновений, рукописного ввода, голоса и отслеживания движений (Kinect).

Усовершенствования датчиков и вычислительных мощностей создают новое машинное восприятие сред на основе расширенных методов ввода. Вот почему в Windows API, которые раскрывают информацию об окружающей среде, называются API восприятия. Входные данные среды могут фиксировать:


Диаграмма Венна по взаимодействию между компьютерами, людьми и средами
Изображение: взаимодействие между компьютерами, людьми и средами.


Сочетание трех основных элементов создает основу для создания настоящего опыта смешанной реальности:

  • компьютерная обработка информации с использованием облака;
  • расширенные методы ввода;
  • восприятие среды.

Когда мы двигаемся в физическом мире, наши движения отражаются в мире цифровом. Физические границы влияют на проявления смешанной реальности, такие как игры или руководства на основе задач на производстве. Благодаря воздействию и восприятию среды; проявления в физической и цифровой реальности начинают сливаться.



Спектр смешанной реальности

Смешанная реальность объединяет физический и цифровой миры. Две эти реальности отмечают противоположные границы спектра, который называется виртуальный континуум. Мы называем этот спектр реальностей спектром смешанной реальности. На одном конце спектра физическая реальность, в которой существуют люди. А на другом — соответствующая цифровая реальность.



Дополненная и виртуальная реальность

Большинство мобильных телефонов, доступных сейчас на рынке, почти не имеют возможностей для восприятия окружающей среды. Они не способны обеспечить взаимодействие, сочетающее физический и цифровой миры.

Взаимодействия, включающие наложение графики, видеопотоки или голограммы в физическом мире, называются дополненной реальностью. Взаимодействия, в которых ваш взгляд на физический мир перекрывается цифровым устройством с полным погружением, представляют собой виртуальную реальность. Взаимодействия, которые могут выполняться между дополненной и виртуальной реальностями формируют смешанную реальность, где можно:

  • поместить цифровой объект, например голограмму, в физический мир, как если бы он существовал физически;
  • лично и в цифровой форме присутствовать в физическом мире в виде аватара для асинхронной совместной работы с другими пользователями в разные моменты времени.

Когда пользователь находится в виртуальной реальности, физические препятствия в его непосредственном окружении, такие как стены и мебель, представлены в цифровом виде в рамках этого взаимодействия, чтобы пользователь мог избежать столкновения с этими физическими препятствиями.


Спектр смешанной реальности
Изображение: спектр смешанной реальности


Большинство доступных на сегодняшний день проявлений дополненной и виртуальной реальности отражают лишь малую часть большого спектра смешанной реальности. Windows 10 создавалась с учетом всего этого спектра и позволяет организовать полноценное смешение цифровых представлений людей, мест и объектов с реальным миром.

Устройства и взаимодействия

Существует два основных типа устройств, которые поддерживают взаимодействия Windows Mixed Reality:

  1. Голографические устройства — это устройства, способные размещать цифровые объекты в реальном мире так, как если бы они существовали там на самом деле.
  2. Иммерсивные устройства — устройства, способные создавать ощущение присутствия, блокируя реальный мир и заменяя его цифровым взаимодействием с полным погружением.
Характеристика Голографические устройства Иммерсивные устройства
Примеры устройств Microsoft HoloLens;

Изображение Microsoft HoloLens 2
Samsung HMD Odyssey+

Изображение Samsung HMD Odyssey+
Дисплей Прозрачный дисплей. Позволяет пользователю с гарнитурой видеть реальную физическую среду. Непрозрачный дисплей. Блокирует реальную физическую среду для пользователя с гарнитурой.
Перемещение Перемещения с шестью степенями свободы, включая вращение и преобразование. Перемещения с шестью степенями свободы, включая вращение и преобразование.

Примечание

Подключение или отсутствие подключения устройства к отдельному компьютеру по USB-кабелю или через Wi-Fi не дают никакой информации о том, является ли устройство голографическим или иммерсивным. Функции, улучшающие мобильность, часто обеспечивают более качественное взаимодействие. Голографические и иммерсивные устройства могут либо подключаться, либо нет.

Взаимодействия в рамках смешанной реальностью стали возможными, благодаря технологическим усовершенствованиям. Windows 10 предоставляет производителям устройств и разработчикам ПО единую платформу смешанной реальности. Любое современное устройство может поддерживать только определенную часть спектра смешанной реальности. Впоследствии появятся новые устройства с более обширным диапазоном: голографические устройства станут более иммерсивными, а иммерсивные — более голографическими.


Типы устройств в спектре смешанной реальности
Изображение: расположение устройств в спектре смешанной реальности

Какой тип взаимодействий вы хотите создавать как разработчик приложений или игр? Эти взаимодействия будут соответствовать определенной точке или сегменту нашего спектра. Вы должны учитывать возможности целевых устройств. Взаимодействия на основе реального мира лучше всего выполнять на HoloLens.

  • Ближе к левому краю (физическая реальность). Пользователи остаются в своей физической среде, их не убеждают в том, что они покидают реальность.
  • В середине (полноценная смешанная реальность). В этих взаимодействиях реальный и цифровой мир переплетаются друг с другом. Например, в фильме "Джуманджи" физическая структура дома, в котором развиваются события, сливается с джунглями.
  • Ближе к правому краю (почти цифровая реальность). Пользователи взаимодействуют с цифровой реальностью, но не знают, что происходит вокруг них в физическом мире.

Следующий этап

Вы отправляетесь в увлекательное путешествие, которое мы для вас подготовили, в ходе которого вы ознакомитесь с основами смешанной реальности. Отсюда вы можете перейти к следующей основной теме: