Пример. Представление людей в смешанной реальности

Джеймс Террелл проектирует с светом. Вступая в его работу, размывается чувство глубины и сосредоточенности. Стены кажутся как близкими, так и бесконечными, яркость уступает место тени. Незнакомое восприятие разработано путем тщательного балансировки цвета и диффузии света. Террелл описывает эти ощущения как "чувство своими глазами", способ расширения своего понимания реальности. Фантастические миры, как те, которые turrell себе представляет, являются мощными инструментами для использования наших чувств, не в отличие от иммерсивной среды смешанной реальности сегодня.

Как вы представляете сложные реальные среды в смешанной реальности?

Представление работы Turrell в иммерсивном опыте делает убедительным вызовом. Освещение, масштаб и пространственный звук представляют возможности для представления его работы. В то время как геометрическое окружение выставки потребует относительно простого трехмерного моделирования, они вторичны для фокуса художника: влияние света на чувства.

Суровый, сюрреалистический минимализм Туррелла является отличительной чертой его работы, но что, если бы мы хотели представить выставку с более сложными материалами в смешанной реальности?

В 2013 году художник Ай Вэйвэй представил запутанный произведение искусства с 886 антикварными табуретами на Венецианской биеннале. Каждый деревянный табурет пришел из эпохи, когда китайское мастерство было высоко ценилось, где эти табуреты передавались бы между поколениями. Сами табуреты - тонкости дерева, точность частей, их тщательное размещение - имеют решающее значение для комментариев Аи о современной культуре.

Антикварные табуретки доставляют сообщение художника через их подлинность. Их реалистичное представление имеет решающее значение для опыта, создавая техническую задачу: скульптура каждого из 886 табуретов вручную будет чрезвычайно исчерпывающим и дорогостоящим. Сколько времени потребуется для моделирования и позиционирования? Как бы вы сохранили подлинность материала? Воссоздание этих объектов с нуля во многих отношениях становится интерпретацией самого произведения искусства. Как сохранить намерение художника?

Методы захвата ресурсов смешанной реальности

Альтернативой созданию чего-то с нуля является захват реального. С помощью постоянно развивающегося набора методов захвата мы можем разработать достоверные представления каждого из основных типов ресурсов, найденных в смешанной реальности (среды, объекты и люди).

Широкие категории варьируются от хорошо зарекомедное 2D-видео до новейших форм объемного видео. В случае с выставкой Ай Вэйвэя, сканирование (часто называемое его фундаментальным методом, фотограмметрия) может быть использовано во время создания выставки, сканируя каждый из стулов сами. 360 ° фото и видеозахват является еще одним методом виртуализации взаимодействия с использованием высококачественной многонаправленной камеры, размещенной на протяжении всей выставки. С помощью этих методов, вы начинаете понимать смысл масштаба, в идеале с достаточной детализацией, чтобы увидеть мастерство каждой части. Все это пока существует в цифровой форме, которая позволяет новые перспективы и перспективы невозможно в реальности.

Какие типы возможностей возникают, когда мы можем не только создавать фантастические элементы, но и использовать наиболее реалистичные захваты сред, объектов и людей в смешанной реальности? Изучение перекрытия между этими методами помогает определить, куда направляется среда.

Для сред и объектов программное обеспечение для создания изображений 360° развивается для включения элементов фотограмметрии. Изолируя информацию о глубине от сцен, расширенные видео на 360 градусов помогают облегчить чувство того, что ваша голова застряла в fishbowl при просмотре виртуальной сцены.

Для людей появляются новые методы, которые объединяют и расширяют захват движения и сканирование: захват движения является основой для привлечения подробного движения человека к визуальным эффектам и кинематографическим персонажам, в то время как сканирование продвинулось для захвата подробных визуальных элементов человека, таких как лица и руки. Благодаря усовершенствованиям в технологии отрисовки новый метод, называемый объемным видео, строится на основе этих методов, сочетая визуальные и глубокие сведения, чтобы создать следующее поколение трехмерных снимков человека.

Объемный видео и стремление к подлинному захвату человека

Люди имеют центральное место в повествовании в самом буквальном смысле: человек говорит, выполняет или как предмет истории. Некоторые из наиболее иммерсивных и открывающих глаза моментов сегодняшнего раннего иммерсивного опыта являются социальными: обмен опытом смешанной реальности вместе в вашей гостиной, видя своих друзей в невероятных новых средах. Человеческий элемент делает даже самую фантастическую реальность, реальность.

Аватары в иммерсивном опыте обеспечивают новый вид воплощения в повествовании. Последние приложения переосмысливают концепцию владения виртуальным телом и создают скачок поколений в устранении расстояния между людьми. Такие компании, как Mindshow , разрабатывают творческие инструменты, которые используют аватары, позволяя пользователям взять на себя совершенно новых персонажей и персонажей. Другие исследуют методы художественного выражения, потенциально безграничную творческую возможность исследовать природу (и необходимость) человеческих атрибутов. Сегодня это отсутствие реализма помогает избежать сверхъестественной долины человеческого подобия наряду с множеством технических проблем для повседневных разработчиков. По этим причинам (и многое другое) вполне вероятно, что нереалистические аватары станут по умолчанию в обозримом будущем. И все же, хотя реализм представляет огромную проблему для смешанной реальности, существуют ключевые сценарии, требующие подлинного представления людей в трехмерном пространстве.

В корпорации Майкрософт небольшая команда, родившаяся из Microsoft Research, провела последние несколько лет в разработке метода захвата людей с помощью формы объемного видео. Сегодня процесс аналогичен производству видео: вместо того, чтобы применять движение к вылепленным активам, это полная трехмерная запись. Спектакль и изображение записываются в режиме реального времени — это не работа художника, а подлинное представление. И хотя технология только начинает расширяться в коммерческих приложениях, последствия объемного видео имеют решающее значение для концепции Microsoft More Personal Computing.

Подлинный захват человека открывает новые уникальные категории опыта в смешанной реальности. Видя кого-то, кого вы узнаете, будь то знаменитость, коллега или близкий человек, создает глубину близости, никогда раньше возможной в цифровой среде. Их лицо, их выражения, нюансы в их движениях являются частью того, кто они есть. Какие возможности открываются, когда мы можем запечатлеть эти человеческие качества в трехмерном пространстве?

Сегодня команда раздвигает границы объемного видео, уделяя особое внимание таким секторам, как развлечения и образование: Actiongram особенности творческих персонажей и знаменитостей для создания историй смешанной реальности. Назначение: Выставка На Марсе, в настоящее время в Космическом центре Кеннеди НАСА, показывает объемное видео легендарного астронавта Базза Олдрина. Опыт позволяет посетителям ходить вокруг поверхности Марса с Buzz, как он вводит стремление человека к колонизации на Марсе.

Люди являются фундаментальными для смешанной реальности

Разработка способов сделать эти видео естественным представляет собой задачу, но в которой команда видит огромный потенциал. И эти возможности будут расширяться по мере того, как технология станет более доступной и переходит от записей к записи в режиме реального времени.

Holoportation — это исследовательская работа, основанная на одной и той же фундаментальной технологии, которая достоверно захватывает визуальную и глубинную информацию и отображает результат в режиме реального времени. Команда изучает, что сила реалистичного человеческого представления означает для будущего разговоров и общего опыта. Что происходит, когда трехмерный захват кого-то из любой точки мира можно добавить в вашу среду?

От наслоения нового уровня погружения в повседневные приложения, такие как Skype, до радикального изменения концепции цифровых встреч и деловых поездок — объемное видео открывает уникальные сценарии: специалист виртуально обучает врачей на далеком континенте или цифровых друзей, сидящих на диванах и стульях в вашей гостиной. Добавление подлинных человеческих представлений в опыт смешанной реальности радикально изменит концепцию цифровых встреч и деловых поездок.

Точно так же, как абстрактное искусство Джеймса Террелла и критический реализм Ай Вэйвэй предлагают свои собственные уникальные технические проблемы, так и методы представления людей в качестве творческих аватаров и реалистичных захватов. Одно нельзя игнорировать в свете другого, и изучение потенциала каждого из них поможет нам понять человеческое взаимодействие в этом новом пространстве.

Об авторе

Марк Витазко UX Designer @Microsoft