Пример использования. представление людей в смешанной реальностиCase study - Representing humans in mixed reality

Джеймс Туррелл.James Turrell designs with light. Шаг с заходом в свою работу — это понятная глубина и фокус.Stepping into his work blurs one’s sense of depth and focus. Стены кажутся как близкими, так и бесконечными, яркость дает возможность тени.Walls seem both close and infinite, brightness gives way to shadows. Незнакомые восприятия, разработанные с тщательной балансировки цвета и рассеяния света.Unfamiliar perceptions designed by carefully balancing the light’s color and diffusion. Туррелл описывает эти сенсатионс как «чувство глаз », способ расширения понимания реальности.Turrell describes these sensations as ‘feeling with your eyes’ , a way of extending one’s understanding of reality. Великолепной мировой, как и Туррелл, являются мощными инструментами для использования нашего качества, а не в отличие от современных сред смешанной реальности.Fantastic worlds, like the ones Turrell imagines, are powerful tools to exploit our senses, not unlike the immersive environments of mixed reality today.

Широкие исходящий трафик — Джеймс Туррелл (1998)

Как вы представляете сложные реальные среды в смешанной реальности?How do you represent complex real-world environments in mixed reality?

Представление работы Туррелл в впечатляющих впечатлениях делает непривлекательную задачу.Representing Turrell’s work in an immersive experience makes for a compelling challenge. Освещение, масштабирование и пространственный звук предоставляют возможности для представления своей работы.Lighting, scale, and spatial audio present opportunities to represent his work. Несмотря на то, что геометрическое окружение приложения потребовало относительно простого трехмерного моделирования, они являются вторичными по отношению к каждому исполнителю: негативное воздействие на это.While the exhibit’s geometric surroundings would require relatively simple 3D modeling, they are secondary to the artist’s focus: the light’s impact on the senses.

Туррелл контрастной, сурреал с минимальными усилиями — признаком его работы, но что если нам хотелось бы представить себе более сложные материалы в смешанной реальности?Turrell’s stark, surreal minimalism is the hallmark of his work, but what if we wanted to represent an exhibit with more complex materials in mixed reality?

Восклицательный знак — AI Веивеи (2013)

В 2013 исполнитель искусственного интеллекта Веивеи представила танглингную работу Art, которая оснащена 886 молочно-стулс в венице биеннале.In 2013, the artist Ai Weiwei unveiled a tangling work of art featuring 886 antique stools at the Venice Biennale. Каждый деревянный стул поступил из эпохи, в которой китайский ремесленника был высоко ценным, где эти стулс были бы переданы между поколениями.Each wooden stool came from an era where Chinese craftsmanship was highly valued, where these stools would have been passed down between generations. Стулс сами по себе — сложности дерева, точность элементов, их тщательного размещения, являются критически важными для комментариев искусственного интеллекта на современном языке и региональных параметрах.The stools themselves — the intricacies of the wood, the precision of the pieces, their careful placement — are critical to Ai’s commentary on modern culture.

Молочно-стулс доставляет сообщение исполнителя по подлинности.The antique stools deliver the artist’s message through their authenticity. Их реалистичное представление очень важно для удобства работы, создания технического запроса: Скулптинг каждый из 886 стулс вручную, будет огромным и дорогостоящим.Their realistic representation is critical to the experience, creating a technical challenge: Sculpting each of the 886 stools by hand would be enormously exhaustive and expensive. Сколько времени потребуется для моделирования и размещения?How long would it take to model and position? Как можно сохранить подлинность материала?How would you maintain the authenticity of the material? Повторное создание этих объектов с нуля во многом сводится к интерпретации самой иллюстрации.Recreating these objects from scratch becomes, in many ways, an interpretation of the artwork itself. Как можно сохранить намерение исполнителя?How can you preserve the artist’s intent?

Методы захвата ресурсов смешанной реальностиMethods of capturing mixed reality assets

Альтернативой созданию чего-либо с нуля является запись реальной вещи.The alternative to creating something from scratch is capturing the real thing. Используя постоянно пошаговый набор методов записи, мы можем разрабатывать подлинные представления каждого из основных типов ресурсов, находящихся в смешанной реальности (средах, объектах и людях).Through an ever-advancing set of capture methods, we can develop authentic representations of each of the core asset types found in mixed reality (environments, objects, and people).

Широкий спектр категорий — от хорошо установленного 2D-видео до последних форм объемные видео.The broad categories range from well-established 2D video to the newest forms of volumetric video. В случае с Веивеиом AI сканирование (часто именуемое его фундаментальной методикой, фотограмметри) можно использовать во время создания приложения, проверяя каждый из стулс.In the case of Ai Weiwei’s exhibit, scanning (often referred to by its fundamental technique, photogrammetry) could be employed during the creation of the exhibit, scanning each of the stools themselves. 360. видеозапись фотографий и видеороликов — еще один способ виртуализации работы с помощью высококачественной фотокамеры, расположенной на протяжении всего экрана.360° photo and video capture is another method for virtualizing the experience utilizing a high-quality omni-directional camera positioned throughout the exhibit. С помощью этих методов один из них начинает понимать смысл масштабирования, в идеале — с достаточной детализацией для просмотра ремесленникаов каждого элемента.With these techniques, one begins to understand the sense of scale, ideally with enough detail to see each piece’s craftsmanship. Все это во время существующего в цифровой форме, которая допускает новые пейзаж и перспективы в реальности.All this while existing in a digital form that allows for new vistas and perspectives not possible in reality.

из 2D в объемные видео

Какие виды возможностей возникают, когда мы не можем создавать новые элементы, но используете наиболее реалистичные записи сред, объектов и людей в смешанной реальности?What kind of opportunities emerge when we cannot only create fantastic elements, but utilize the most realistic captures of environments, objects, and people in mixed reality? Изучение перекрытия между этими методами может привести к освещению носителя.Exploring the overlap between these methods help illuminate where the medium is headed.

Для сред и объектов программное обеспечение для работы с образами 360 ° развивается для включения элементов фотограмметри.For environments and objects, 360° imaging software is evolving to include elements of photogrammetry. Изолируя сведения о глубине из сцен, в 360 ° видео можно сократить ощущение того, что ваш головной компьютер фишбовлся при взгляде на виртуальную сцену.Isolating depth information from scenes, advanced 360° videos help alleviate the feeling of having your head stuck in a fishbowl when looking around a virtual scene.

Для людей новые методы объединяются и расширяют захват и сканирование движения. захват движения является фундаментом, чтобы получить детальное движение в визуальных эффектах и Цинематик символов, в то время как сканирование имеет опыт для захвата подробных пользовательских визуальных элементов, таких как лица и руки.For people, new methods are emerging that combine and extend motion capture and scanning: Motion capture has been foundational to bringing detailed human movement to visual effects and cinematic characters, while scanning has advanced to capture detailed human visuals like faces and hands. Благодаря улучшениям в технологии отрисовки новый метод под названием объемные Video строится на этих приемах, объединяя визуальные и подробные сведения, чтобы создать следующее поколение трехмерных захватов.With advancements in rendering technology, a new method called volumetric video builds off these techniques, combining visual and depth information, to create the next generation of 3D human captures.

Объемные видео и получение сведений о легальном захвате человекаVolumetric video and the pursuit of authentic human capture

Люди являются центральным элементом создание сюжетов — в самом буквальном смысле: человеческим разговором, выполнением или в качестве темы истории.Humans are central to storytelling — in the most literal sense: a human speaking, performing, or as the story’s subject. Некоторые из наиболее впечатляющих и привлекательных в настоящее время ранних посторонних приложений — это социальные сети.Some of the most immersive and eye-opening moments of today’s early immersive experiences are social. Благодаря совместному использованию смешанной реальности в своей гостиной вы должны видеть друзей в стечение новых средах.From sharing a mixed reality experience together in your living room, to seeing your friends in unbelievable new environments. Элемент «человеческий» делает даже самое неприятное, реальность.The human element makes even the most fantastic reality, a reality.

Миндшов в VR

Аватары в впечатляющих впечатлениях включают новый тип ембодимент в создание сюжетов.Avatars in immersive experiences enable a new kind of embodiment in storytelling. Последние приложения изменяют концепцию владения виртуальным текстом и настраиваются на создание поколенной LEAP в устранении расстояния между людьми.The latest apps are rethinking the concept of virtual body ownership and setting up a generational leap in eliminating the distance between people. Такие компании, как миндшов , разрабатывают творческие инструменты, использующие аватары, позволяя пользователям принимать совершенно новые персонажи и символы.Companies like Mindshow are developing creative tools that leverage avatars, letting users take on entirely new personas and characters. Другие являются методами художественных выражений, потенциально неограниченными творческими сделками для изучения природы (и необходимости) пользовательских атрибутов.Others are exploring methods of artistic expression, a potentially limitless creative opportunity to explore the nature (and necessity) of human-like attributes. На сегодняшний день это отсутствие реальной работы помогает избежать нестандартных ликенесс , а также узла технических проблем для повседневных разработчиков.Today, this absence of realism helps avoid the uncanny valley of human likeness along with a host of technical issues for everyday developers. По этим причинам (и многое другое) очень вероятно, что нереалистичные аватары станут значением по умолчанию для ожидаемого будущего.For these reasons (and more) it is very likely that non-realistic avatars will become the default for the foreseeable future. В то же время, хотя реальный метод для смешанной реальности является огромным, существуют ключевые сценарии, требующие подлинного представления людей в трехмерном пространстве .And yet, while realism poses an enormous challenge for mixed reality, there are key scenarios that require authentic representation of humans in 3D space .

В корпорации Майкрософт небольшая группа, посвященная исследованию корпорации Майкрософт, потратила последние несколько лет на разработку метода для захвата людей с помощью формы объемные видео.At Microsoft, a small team borne out of Microsoft Research has spent the past several years developing a method for capturing humans through a form of volumetric video. Сегодня этот процесс аналогичен видеоэтапу: вместо применения перемещения к скулптед ресурсу это полная трехмерная запись.The process today is similar to video production: rather than applying movement to a sculpted asset it is a full, 3D recording. Производительность и образ записываются в реальном времени — это не Рабочая часть, а подлинное представление.The performance and the image are captured in real-time — it’s not the work of an artist, it’s an authentic representation. Несмотря на то, что технология просто начинает раскрывать коммерческие приложения, последствия объемные видео очень важны для концепций Майкрософт в сфере персональных компьютеров.And while the technology is just beginning to expand into commercial applications, the implications of volumetric video are critical to Microsoft’s vision of More Personal Computing.

Объемные Video СИГГРАФ 2015

Подлинная видеозапись разблокирует новые уникальные категории опыта в смешанной реальности.Authentic human capture unlocks new unique categories of experiences in mixed reality. Если узнать, кто вы распознаете, будь то знаменитости, коллега или обожаю, то создает глубину тесных никогда до возможности в цифровом носителе.Seeing someone you recognize, whether it’s a celebrity, a colleague, or a loved one, creates a depth of intimacy never before possible in a digital medium. Их стороны, их выражения, особенности их перемещения являются частью того, кто они имеют.Their face, their expressions, the nuance in their movements are all part of who they are. Какие возможности разблокируются, когда мы можем захватить эти качества в трехмерном пространстве?What opportunities unlock when we can capture these human qualities in 3D space?

На сегодняшний день Группа помещает границы видео объемные, сосредоточенные на секторах, таких как развлечения и образование: актионграм функции творческие символы и знаменитостей для создания историй смешанной реальности.Today the team is pushing the bounds of volumetric video by focusing on sectors like entertainment and education: Actiongram features creative characters and celebrities to create mixed reality stories. Назначение: режим MARS, который теперь находится в центре Кеннединого пространства NASA, содержит объемные видео о легендарном-космонавтам.Destination: Mars exhibit, now at NASA’s Kennedy Space Center, features a volumetric video of legendary astronaut Buzz Aldrin. Этот интерфейс позволяет посетителям проанализировать область Mars с разговором о том, что он знакомит вас с человеческим двоеточием в режиме MARS.The experience allows visitors to walk around the surface of Mars with Buzz as he introduces the pursuit of human colonization on Mars.

Люди являются фундаментальными для смешанной реальностиHumans are fundamental to mixed reality

Разработка способов, позволяющих делать эти видеоролики, кажется естественным, но одна из них видит огромную вероятность.Designing ways to make these videos seem natural poses a challenge but one in which the team sees enormous potential. Эти возможности будут расширяться по мере того, как технология станет более доступной и переходить от записей к записи в режиме реального времени.And these opportunities will expand as the technology becomes more accessible and moves from recordings to real-time capture.

Холопортатион — это исследование, основанное на одной фундаментальной технологии, подлинной записи визуальных данных и сведений о глубине, а также визуализации результатов в режиме реального времени.Holoportation is a research effort that builds upon the same fundamental technology, authentically capturing visual and depth information, and rendering the result in real-time. Группа изучает возможности реалистичного человеческого представления для будущего общения и общего взаимодействия.The team is exploring what the power of realistic human representation means for the future of conversations and shared experiences. Что происходит при добавлении трехмерного захвата человека из любого места мира в вашу среду?What happens when a three-dimensional capture of someone, from anywhere in the world, can be added into your environment?

Будущее обсуждение

С помощью раздельного уровня для ежедневных приложений, таких как Skype, чтобы радикально перерисовить концепцию цифровых совещаний и бизнес-поездок — объемные видео открывает уникальные сценарии: специалиста, практически не ориентированного на диваны или цифровые друзья в гостиной и на стулья.From layering a new level of immersion onto everyday apps like Skype, to radically reshaping the concept of digital meetings and business travel — volumetric video opens unique scenarios: A specialist virtually training doctors on a far-away continent or digital friends sitting on the couches and chairs in your living room. Добавление подлинных человеческих представлений в опыт работы в смешанной реальности радикально перерисовка концепции цифровых встреч и командировки.Adding authentic human representations to mixed reality experiences will radically reshape the concept of digital meetings and business travel.

Как и в случае с Турреллом «Джеймс», а также с критическим реальными особенностями AI Веивеи предлагают свои собственные технические трудности, поэтому методы представляют людей как творческие аватары и реалистичные записи.Just as the abstract art of James Turrell and the critical realism of Ai Weiwei offer their own unique technical challenges, so do the methods to represent humans as creative avatars and realistic captures. Один из них не может быть проигнорирован в свете другого, и изучение потенциальных возможностей каждого из них поможет нам понять взаимодействие человека с этим новым пространством.One cannot be ignored in light of the other and exploring the potential of each will help us understand human interaction in this new space.

Об автореAbout the author

Picture of Mark Vitazko Марк ВитазкоMark Vitazko
Конструктор UX @MicrosoftUX Designer @Microsoft