Estudo de caso – Representando humanos em realidade misturada

James Turrell projeta com luz. Entrar em seu trabalho borra o senso de profundidade e foco. As paredes parecem próximas e infinitas, o brilho dá lugar às sombras. Percepções desconhecidas projetadas equilibrando cuidadosamente a cor e a difusão da luz. Turrell descreve essas sensações como "sentir com seus olhos", uma maneira de estender a compreensão da realidade. Mundos fantásticos, como os que Turrell imagina, são ferramentas poderosas para explorar nossos sentidos, não muito diferente dos ambientes imersivos da realidade misturada de hoje.

Como você representa ambientes complexos do mundo real na realidade misturada?

Representar o trabalho de Turrell em uma experiência imersiva torna um desafio convincente. Iluminação, escala e áudio espacial apresentam oportunidades para representar seu trabalho. Embora o ambiente geométrico da exposição exija modelagem 3D relativamente simples, eles são secundários ao foco do artista: o impacto da luz nos sentidos.

O minimalismo surreal de Turrell é a marca registrada de seu trabalho, mas e se quiséssemos representar uma exposição com materiais mais complexos na realidade misturada?

Em 2013, o artista Ai Weiwei revelou uma obra de arte tangente com 886 banquinhos antigos na Bienal de Veneza. Cada banquinho de madeira veio de uma época em que o artesanato chinês era altamente valorizado, onde essas fezes teriam sido passadas entre gerações. As próprias fezes , os meandros da madeira, a precisão das peças, seu posicionamento cuidadoso - são fundamentais para o comentário de Ai sobre a cultura moderna.

As fezes antigas entregam a mensagem do artista através de sua autenticidade. Sua representação realista é fundamental para a experiência, criando um desafio técnico: esculpir cada um dos 886 banquinhos à mão seria extremamente exaustivo e caro. Quanto tempo levaria para modelar e posicionar? Como você manteria a autenticidade do material? Recriar esses objetos do zero torna-se, em muitos aspectos, uma interpretação da própria obra de arte. Como você pode preservar a intenção do artista?

Métodos de captura de ativos de realidade misturada

A alternativa para criar algo do zero é capturar a coisa real. Por meio de um conjunto cada vez maior de métodos de captura, podemos desenvolver representações autênticas de cada um dos principais tipos de ativos encontrados na realidade misturada (ambientes, objetos e pessoas).

As categorias amplas variam de vídeo 2D bem estabelecido às formas mais recentes de vídeo volumétrica. No caso da exposição de Ai Weiwei, a verificação (muitas vezes referida por sua técnica fundamental, fotogramametria) poderia ser empregada durante a criação da exposição, verificando cada uma das fezes propriamente ditos. Captura de fotos e vídeos 360° é outro método para virtualizar a experiência utilizando uma câmera omnidirecional de alta qualidade posicionada em toda a exposição. Com essas técnicas, começa-se a entender a sensação de escala, idealmente com detalhes suficientes para ver o artesanato de cada peça. Tudo isso enquanto existente em uma forma digital que permite novas vistas e perspectivas não são possíveis na realidade.

Que tipos de oportunidades surgem quando podemos não apenas criar elementos fantásticos, mas também utilizar as capturas mais realistas de ambientes, objetos e pessoas na realidade misturada? Explorar a sobreposição entre esses métodos ajuda a iluminar para onde o meio está indo.

Para ambientes e objetos, o software de imagem 360° está evoluindo para incluir elementos de fotograma. Isolar informações de profundidade de cenas, vídeos avançados de 360° ajudam a aliviar a sensação de ter a cabeça presa em um aquário ao olhar ao redor de uma cena virtual.

Para as pessoas, novos métodos estão surgindo que combinam e estendem a captura e a varredura de movimentos: a captura de movimento tem sido fundamental para trazer movimento humano detalhado para efeitos visuais e personagens cinematográficos, enquanto a varredura avançou para capturar visuais humanos detalhados, como rostos e mãos. Com os avanços na tecnologia de renderização, um novo método chamado vídeo volumétrica se baseia nessas técnicas, combinando informações visuais e de profundidade, para criar a próxima geração de capturas humanas 3D.

Vídeo volumétrica e a busca da captura humana autêntica

Os humanos são centrais para contar histórias no sentido mais literal: um ser humano falando, atuando ou como tema da história. Alguns dos momentos mais imersivos e de abertura das primeiras experiências imersivas de hoje são sociais: compartilhar uma experiência de realidade misturada juntos em sua sala de estar, ver seus amigos em novos ambientes inacreditáveis. O elemento humano faz até mesmo a realidade mais fantástica, uma realidade.

Avatares em experiências imersivas permitem um novo tipo de personificação na narrativa. Os aplicativos mais recentes estão repensando o conceito de propriedade do corpo virtual e configurando um salto geracional para eliminar a distância entre as pessoas. Empresas como a Mindshow estão desenvolvendo ferramentas criativas que aproveitam avatares, permitindo que os usuários assumam personas e personagens totalmente novos. Outros estão explorando métodos de expressão artística, uma oportunidade criativa potencialmente ilimitada para explorar a natureza (e a necessidade) de atributos semelhantes aos humanos. Hoje, essa ausência de realismo ajuda a evitar o estranho vale da semelhança humana , juntamente com uma série de problemas técnicos para os desenvolvedores cotidianos. Por essas razões (e muito mais), é provável que avatares não realistas se tornem o padrão para o futuro previsível. No entanto, embora o realismo represente um enorme desafio para a realidade misturada, há cenários-chave que exigem representação autêntica de humanos no espaço 3D.

Na Microsoft, uma pequena equipe nascida na Microsoft Research passou os últimos anos desenvolvendo um método para capturar humanos por meio de uma forma de vídeo volumétrica. O processo hoje é semelhante à produção de vídeo: em vez de aplicar movimento a um ativo esculpido, é uma gravação 3D completa. A performance e a imagem são capturadas em tempo real— não é obra de um artista, é uma representação autêntica. E enquanto a tecnologia está apenas começando a se expandir para aplicativos comerciais, as implicações do vídeo volumétrica são essenciais para a visão da Microsoft de Mais Computação Pessoal.

A captura humana autêntica desbloqueia novas categorias exclusivas de experiências na realidade misturada. Ver alguém que você reconhece, seja uma celebridade, um colega ou um ente querido, cria uma profundidade de intimidade nunca antes possível em um meio digital. Seu rosto, suas expressões, a nuance em seus movimentos são todos parte de quem eles são. Quais oportunidades são desbloqueadas quando podemos capturar essas qualidades humanas no espaço 3D?

Hoje, a equipe está empurrando os limites do vídeo volumétrica, focando em setores como entretenimento e educação: Actiongram apresenta personagens criativos e celebridades para criar histórias de realidade misturada. Destino: A exposição de Marte, agora no Centro Espacial Kennedy da NASA, apresenta um vídeo volumétrica do lendário astronauta Buzz Aldrin. A experiência permite que os visitantes andem pela superfície de Marte com Buzz enquanto ele introduz a busca da colonização humana em Marte.

Os humanos são fundamentais para a realidade misturada

Projetar maneiras de fazer esses vídeos parecerem naturais representa um desafio, mas um em que a equipe vê um enorme potencial. E essas oportunidades se expandirão à medida que a tecnologia se tornar mais acessível e passar de gravações para captura em tempo real.

O Holoportation é um esforço de pesquisa que se baseia na mesma tecnologia fundamental, capturando autenticamente informações visuais e de profundidade e renderizando o resultado em tempo real. A equipe está explorando o que o poder da representação humana realista significa para o futuro das conversas e experiências compartilhadas. O que acontece quando uma captura tridimensional de alguém, de qualquer lugar do mundo, pode ser adicionada ao seu ambiente?

Desde colocar em camadas um novo nível de imersão em aplicativos cotidianos, como o Skype, até remodelar radicalmente o conceito de reuniões digitais e viagens de negócios— o vídeo volumétrica abre cenários únicos: um especialista praticamente treinando médicos em um continente distante ou amigos digitais sentados nos sofás e cadeiras em sua sala de estar. Adicionar representações humanas autênticas a experiências de realidade misturada remodelará radicalmente o conceito de reuniões digitais e viagens de negócios.

Assim como a arte abstrata de James Turrell e o realismo crítico de Ai Weiwei oferecem seus próprios desafios técnicos únicos, os métodos para representar os humanos como avatares criativos e capturas realistas. Um não pode ser ignorado à luz do outro e explorar o potencial de cada um nos ajudará a entender a interação humana neste novo espaço.

Sobre o autor

Mark Vitazko UX Designer @Microsoft