Estudo de caso - Criação de perspetivas impossíveis para o HoloTour

Queríamos que as suas experiências no HoloTour para Microsoft HoloLens fossem inesquecíveis. Além das paragens turísticas tradicionais, planeámos algumas "perspetivas impossíveis" – momentos que seriam impossíveis de experimentar em qualquer passeio mas que, através da tecnologia em HoloLens, poderíamos trazer diretamente para a sua sala de estar. A criação do conteúdo para estas experiências requereu algumas técnicas diferentes do nosso processo de captura padrão.

O desafio do conteúdo

Existem certas cenas na experiência HoloTour - como o passeio de balão de ar quente sobre Roma moderna e a luta de gladiadores no Coliseu da Roma antiga - que proporcionam vistas únicas que você não verá em nenhum outro lugar. Estes momentos destinam-se a excitar e surpreender-te, tornando a sua viagem pela HoloTour mais do que apenas uma experiência educativa. São os momentos que queremos que se lembre e que se emocione para contar às outras pessoas. Como não conseguíamos levar a nossa câmara para o céu e ainda não dominamos (ainda) a viagem no tempo, cada uma destas "perspetivas impossíveis" exigiu uma abordagem especial para criar conteúdo.

Nos bastidores

Criar estes momentos e perspetivas únicos exigiu mais do que apenas filmar e editar. Levou uma tremenda quantidade de tempo, pessoas com muitas habilidades diferentes, e um pouco de magia de Hollywood.

Vendo Roma de um balão de ar quente

Desde os nossos primeiros dias de planeamento, sabíamos que queríamos fazer vistas aéreas em HoloTour. Ver Roma do céu dá-lhe uma perspetiva que a maioria das pessoas nunca consegue ver e uma sensação de como os marcos populares estão espacialmente localizados. Tentar capturar isto nós mesmos com a nossa câmara e equipamento de microfone teria sido tremendamente difícil, mas felizmente não precisávamos.

Em primeiro lugar, é importante explicar que todos os locais que visita no HoloTour têm movimento neles. O nosso objetivo era fazer com que "sentisses que realmente estás lá" e como estás rodeado de movimentos para onde quer que vás na vida real, os nossos destinos virtuais também precisam de transmitir movimento ambiente. Por exemplo, quando visitar o Panteão durante a sua viagem, verá pessoas a vaguear pela praça e a reunirem-se nas escadas. O movimento de fundo ajuda a fazer-te sentir que estás realmente no local, em vez de num ambiente encenado e estático.

Para criar as vistas aéreas para o passeio de balão, trabalhámos com outras equipas da Microsoft para ter acesso a imagens panorâmicas aéreas de Roma. A qualidade destas imagens era excelente e a vista era espantosa, mas quando as usávamos nas cenas sem modificação, sentiam-se sem vida em comparação com as outras partes do passeio e a falta de movimento era distraída.

O cesto de balão de ar quente, flutuando sobre Roma.
O cesto de balão de ar quente, flutuando sobre Roma

Para garantir que os locais aéreos encontrassem o mesmo bar de qualidade que outros destinos, decidimos transformar as fotografias estáticas em cenas vivas e comoventes. O primeiro passo foi editar a imagem e o movimento composto nela. Contraímos um artista de efeitos visuais para nos ajudar com isto. A edição foi feita para mostrar nuvens à deriva lentamente, pássaros voando, e um avião ou helicóptero ocasional atravessando o horizonte. No chão, vários carros foram feitos para conduzir as ruas. Se esteve na excursão a Roma em HoloTour, é improvável que tenha conhecimento explícito de algum deste movimento. Isso é ótimo! O movimento subtil não é para chamar a atenção, mas sem estes pequenos toques, as pessoas repararam imediatamente que era uma imagem estática na cena.

A segunda coisa que fizemos foi dar-lhe um ponto de vista para ver a cena. Não vais sentir que estás mesmo lá se parecer que estás simplesmente a flutuar no ar, por isso criámos um modelo 3D de um balão e colocámo-lo dentro dele. Isto permite-lhe andar à volta do balão e olhar por cima da borda para obter um ponto de vista melhor. Achamos que esta é uma forma natural e divertida de experimentar as imagens aéreas.

A experiência do balão de ar quente apresentou desafios únicos para a nossa equipa de áudio, uma vez que a logística nos impedia de ter microfones a pairar a milhares de metros sobre Roma. Felizmente, tivemos uma grande quantidade de captação de áudio ambiente de toda a cidade que pudemos usar durante a pós-produção. Colocamos emissores de áudio nos seus locais relativos de onde foram capturados do chão. O áudio foi então filtrado para soar distante, como se estivesse a ouvi-lo do ponto de vista de alguém que anda no balão de ar quente, proporcionando uma autêntica paisagem sonora direcional para a cena.

Viagem no tempo à Roma Antiga

Os vestígios de monumentos e edifícios em Roma são impressionantes mesmo dois mil anos após a sua construção, mas sabíamos que tínhamos uma oportunidade única de lhe mostrar como seria voltar no tempo e ver estas estruturas como apareceram na Roma antiga.

Naturalmente, não há imagens de vídeo ou imagens estáticas do Coliseu como apareceu quando foi construído, por isso precisávamos de criar os nossos. Tivemos de fazer muita pesquisa para aprender o máximo sobre a estrutura que pudemos; compreender os materiais de que foi feito, rever diagramas arquitetónicos e ler descrições históricas para obter informações suficientes para poder fazer uma recriação virtual.

As ruínas modernas do Coliseu com uma sobreposição mostrando o chão da arena como teria olhado na Roma antiga.
As ruínas modernas do Coliseu com uma sobreposição mostrando o chão da arena como teria olhado na Roma antiga

A primeira coisa que queríamos fazer era melhorar os passeios tradicionais com sobreposições educacionais. No HoloTour, quando visita as ruínas do Coliseu tal como está hoje, o piso da arena transforma-se para mostrar como teria sido durante o uso, incluindo as elaboradas áreas subterrâneas de encenação. Numa visita normal, pode ter esta informação descrita e pode tentar imaginá-la, mas em HoloTour pode realmente vê-la.

Para uma sobreposição como esta, tivemos os nossos artistas a combinar o ponto de vista das nossas imagens de captura e criar a imagem sobreposta à mão. A perspetiva tem de corresponder para que, quando substituirmos o vídeo pela nossa imagem, ambos se alinhem corretamente.

Encenar a luta do gladiador

Enquanto sobreposições são uma forma envolvente de ensinar as pessoas sobre história, o que mais nos entusiasmava era transportá-lo de volta no tempo. A sobreposição era apenas uma imagem imóvel de um ponto de vista particular, mas viajar no tempo exigiria que todo o Coliseu fosse modelado, e, como discutido acima, precisávamos de ter movimento na cena para fazê-lo sentir-se vivo. Conseguir isso foi preciso um esforço considerável.

Esta empresa era demasiado grande para a nossa equipa fazer sozinha, por isso a nossa equipa de arte trabalhou com a Whiskytree, uma empresa de efeitos externos que normalmente trabalha em efeitos visuais para filmes de Hollywood. Whiskytree ajudou-nos a recriar o Coliseu no seu apogeu, permitindo-nos ensinar-lhe sobre a estrutura enquanto estava no chão da arena e criar uma visão de uma luta de gladiadores a partir da caixa do imperador. As multidões de claques e bandeiras acenando adicionam o movimento subtil necessário para que se sinta como se estes são lugares reais e não apenas imagens.

O Coliseu recriado como visto do chão da arena. Quando vistos em HoloTour, os estandartes vibram na brisa, dando uma sensação de movimento.
O Coliseu recriado como visto do chão da arena. Quando vistos em HoloTour, os estandartes vibram na brisa, dando uma sensação de movimento.

A digressão por Roma culmina com a luta de gladiadores. Whiskytree forneceu-nos a arena e simulações de multidão 3D renderizadas como vídeo, mas precisávamos adicionar os gladiadores no chão da arena. Esta parte do nosso processo parecia mais uma produção de vídeo de Hollywood do que um projeto de um estúdio de jogos de incubação. Membros da nossa equipa traçaram uma sequência de luta áspera e depois refinaram-na com um coreógrafo. Contratámos atores para encenar a nossa simulação de batalha e comprámos uma armadura para que eles parecessem o papel. Finalmente, filmámos toda a cena contra um ecrã verde.

Os nossos gladiadores, a receber instruções entre os takes.
Nossos gladiadores, recebendo instruções entre tomadas

Esta cena coloca-te na caixa do Imperador, o que significava que todas as filmagens precisavam de ser dessa perspetiva. Se filmássemos de onde os gladiadores estavam a lutar no chão da arena, não teríamos sido capazes de compôs corretamente a sequência de luta mais tarde, por isso pusemos o nosso operador de câmara num elevador de tesouras muito alto, olhando para a sequência de luta para as filmagens.

Tendo a perspetiva certa: filmar de um elevador de tesoura.
Obtenção da perspetiva certa: filmagens de um elevador de tesoura

Na pós-produção, os gladiadores foram compostos para o chão da arena e a perspetiva estava correta, mas uma questão permaneceu: as sombras dos gladiadores no ecrã verde foram removidas como parte do processo de composição. Sem sombras, parecia que os gladiadores flutuavam no ar. Felizmente, o Whiskytree é ótimo a resolver este tipo de problema e eles usaram um pouco de feitiçaria técnica para adicionar sombras de volta à nossa cena. O resultado é o que se vê hoje na digressão.

Sobre os autores

David Haley David Haley é um Desenvolvedor Sénior que aprendeu mais sobre plataformas de câmaras e reprodução de vídeo do que pensava ser possível ao trabalhar no HoloTour. Jason Syltebo Jason Syltebo é um Designer de Áudio que se certificou de que poderia experimentar a paisagem sonora de todos os destinos que visita, mesmo quando se volta no tempo.
Danny Askew Danny Askew é um artista de vídeo que garantiu que a sua viagem por Roma foi o mais impecável possível.

Ver também