Estudo de caso – criando perspectivas impossíveis para HoloTourCase study - Creating impossible perspectives for HoloTour

Queríamos que suas experiências no HoloTour para o Microsoft HoloLens sejam esquecidas.We wanted your experiences in HoloTour for Microsoft HoloLens to be unforgettable. Além das interrupções de Tourist tradicionais, planejamos algumas "perspectivas impossíveis" – momentos que seriam impossíveis de experimentar em qualquer Tour, mas que, por meio da tecnologia no HoloLens, poderíamos trazer diretamente para seu espaço de vida.In addition to the traditional tourist stops, we planned out some "impossible perspectives" – moments that would be impossible to experience on any tour but which, via the technology in HoloLens, we could bring directly to your living room. A criação do conteúdo para essas experiências exigia algumas técnicas diferentes do que o processo de captura padrão.Creating the content for these experiences required some different techniques than our standard capture process.

O desafio de conteúdoThe content challenge

Há certas cenas na experiência do HoloTour — como a passagem de balões de ar quente em relação ao dia moderno em Roma e o gladiatorial luta na Colosseum em um Roma antigo, que fornece exibições exclusivas que você não verá em nenhum outro lugar.There are certain scenes in the HoloTour experience—such as the hot air balloon ride over modern-day Rome and the gladiatorial fight at the Colosseum in ancient Rome—that provide unique views you won't see anywhere else. Esses momentos destinam-se a transformar e surpreendemr você, fazendo sua viagem por meio de HoloTour mais do que apenas uma experiência educativa.These moments are meant to excite and amaze you, making your trip through HoloTour more than just an educational experience. Eles são o momento que queremos que você se lembre e fique empolgado em dizer a outras pessoas.They are the moments we want you to remember and get excited to tell other people about. Como não pudemos pegar a nossa câmera com o céu e ainda não (ainda) a viagem de tempo mestre, cada uma dessas "perspectivas impossíveis" é chamada para uma abordagem especial para a criação de conteúdo.Since we couldn't take our camera rig up into the sky and we haven't (yet) mastered time travel, each of these "impossible perspectives" called for a special approach to creating content.

Nos bastidoresBehind the scenes

Criar esses momentos e perspectivas exclusivos exigiam mais do que apenas filming e editando.Creating these unique moments and perspectives required more than just filming and editing. Demorou um enorme tempo, as pessoas com muitas habilidades diferentes e um pouco de Hollywood mágica.It took a tremendous amount of time, people with many different skills, and a little bit of Hollywood magic.

Exibindo Roma de um balão de ar quenteViewing Rome from a hot air balloon

De nossos primeiros dias de planejamento, sabíamos que queríamos fazer exibições aéreas em HoloTour.From our early planning days, we knew we wanted to do aerial views in HoloTour. Ver o Roma do céu oferece uma perspectiva que a maioria das pessoas nunca consegue ver e uma noção de como os pontos de referência são encontrados espacialmente.Seeing Rome from the sky gives you a perspective that most people never get to see and a sense of how popular landmarks are spatially located. Tentar capturá-lo com nossa câmera e equipamento de microfone existentes teria sido extremamente difícil, mas felizmente não tínhamos de fazer isso.Trying to capture this ourselves with our existing camera and microphone rig would have been tremendously difficult, but luckily we didn’t have to.

Primeiro, é importante explicar que todos os locais que você visita no HoloTour têm movimento neles.First, it's important to explain that all of the locations you visit in HoloTour have movement in them. Nosso objetivo era fazer você "sentir como você está realmente aí" e, como você está circundado pela movimentação em todos os lugares da vida real, nossos destinos virtuais precisavam transmitir a movimentação de ambiente também.Our goal was to make you “feel like you’re really there” and since you’re surrounded by movement everywhere you go in real life, our virtual destinations needed to convey ambient movement as well. Por exemplo, ao visitar o Pantheon em sua viagem, você verá as pessoas se pausarem em todo o pedágio e congregating nas etapas.For instance, when you visit the Pantheon on your trip, you’ll see people wandering throughout the plaza and congregating on the steps. O movimento em segundo plano ajuda a fazer você sentir que está realmente em posição no local, e não em um ambiente temporário e preparado.The background motion helps to make you feel like you’re really standing in the location, rather than in a staged, static environment.

Para criar as exibições aéreas para a Ride de balão, trabalhamos com outras equipes da Microsoft para obter acesso a imagens panorâmicas aéreas de Roma.To create the aerial views for the balloon ride, we worked with other teams at Microsoft to get access to aerial panoramic imagery of Rome. A qualidade dessas imagens era excelente e a exibição foi impressionante, mas quando as usamos nos bastidores sem modificação, elas sentiram que não se interessam com as outras partes do Tour e a falta de movimento estava me distraindo.The quality of these images was excellent and the view was stunning, but when we used them in the scenes without modification, they felt lifeless compared to the other parts of the tour and the lack of motion was distracting.

a cesta de balões de ar quente, flutuante sobre Roma.The hot air balloon basket, floating over Rome.
A cesta de balões de ar quente, flutuante sobre RomaThe hot air balloon basket, floating over Rome

Para garantir que os locais de vista atendam à mesma barra de qualidade que outros destinos, decidimos transformar as fotografias estáticas em vida, movendo cenas.To ensure the aerial locations met the same quality bar as other destinations, we decided to transform the static photographs into living, moving scenes. A primeira etapa foi editar a imagem e o movimento de composição nela.The first step was to edit the image and composite motion into it. Contratamos um artista de efeitos visuais para nos ajudar com isso.We contracted a visual effects artist to help us with this. A edição foi feita para mostrar nuvens com descompasso lenta, pássaros voando e um plano ocasional ou Helicopter atravessando o skyline.Editing was done to show clouds slowly drifting, birds flying by, and an occasional plane or helicopter traversing the skyline. No início, foi feita uma série de carros para impulsionar as ruas.On the ground, a number of cars were made to drive the streets. Se você esteve no Tour de Roma no HoloTour, é improvável que você tenha consciência explicitamente de qualquer uma dessas movimentações.If you’ve been on the tour of Rome in HoloTour, it’s unlikely that you were explicitly aware of any of this movement. Isso é realmente ótimo!That’s actually great! O movimento sutil não se destina a perceber seus olhos, mas sem esses pequenos toques, as pessoas perceberam imediatamente que era uma imagem estática na cena.The subtle motion isn’t meant to catch your eye, but without these little touches, people noticed immediately that it was a static image in the scene.

A segunda coisa que fizemos foi dar a você um ponto de privilegiando de onde exibir a cena.The second thing we did was give you a vantage point from which to view the scene. Você não se sentirá como está realmente lá, se parece que está simplesmente flutuando no midair, então criamos um modelo 3D de um balão e colocamos você dentro dele.You won’t feel like you’re really there if it looks like you’re simply floating in midair, so we created a 3D model of a balloon and placed you inside of it. Isso permite que você percorra o balão e observe a borda para obter um ponto de vista melhor.This allows you to walk around the balloon and look over the edge to get a better viewpoint. Descobrimos que essa é uma maneira natural e divertida de experimentar as imagens aéreas.We found this to be a natural and fun way to experience the aerial imagery.

A experiência de balão quente apresentou desafios exclusivos para nossa equipe de áudio, pois a logística nos impediu de ter microfones passando milhares de pés em Roma.The hot air balloon experience presented unique challenges for our audio team, as logistics prevented us from having microphones hovering thousands of feet over Rome. Felizmente, tivemos uma grande quantidade de captura de áudio de ambiente de toda a cidade que pudemos usar durante a produção.Luckily, we had a large amount of ambient audio capture from all over the city that we were able to use during post-production. Colocamos os emissores de áudio em seus locais relativos, de onde foram capturados do zero.We placed audio emitters at their relative locations from where they were captured from the ground. O áudio, em seguida, foi filtrado para soar distante, como se você estivesse ouvindo-o da perspectiva de alguém que está andando no balão de ar quente, fornecendo uma soundscape autêntica e direcionada para a cena.The audio was then filtered to sound distant, as if you were hearing it from the perspective of someone riding in the hot air balloon, providing an authentic, directional soundscape for the scene.

Tempo viajando para o antigo RomaTime traveling to ancient Rome

Os vestígios de monumentos e prédios em Roma são impressionantes até 2000 anos após sua construção, mas sabíamos que tivemos uma oportunidade única para mostrar a você o que seria gostaria de voltar no tempo e ver essas estruturas como elas apareciam em um Roma antigo.The remnants of monuments and buildings throughout Rome are impressive even two thousand years after their construction, but we knew we had a unique opportunity to show you what it would be like to go back in time and see these structures as they appeared in ancient Rome.

Naturalmente, não há nenhuma seqüência de vídeo ou imagem estática) do Colosseum como ele apareceu quando foi criado, portanto, precisávamos criar o nosso próprio.Naturally, there isn’t any video footage or static imagery) of the Colosseum as it appeared when it was built, so we needed to create our own. Tivemos que fazer muita pesquisa para aprender tanto sobre a estrutura como poderíamos; Entendendo os materiais de que foi feito, revisando os diagramas de arquitetura e lendo descrições históricas para obter informações suficientes para poder fazer uma recreação virtual.We had to do a lot of research to learn as much about the structure as we could; understanding the materials it was made from, reviewing architectural diagrams, and reading historical descriptions to get enough information to be able to make a virtual recreation.

o dia moderno ruins do Colosseum com uma sobreposição mostrando o chão da arena, como seria visto em um Roma antigo.The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome.
O dia moderno ruins do Colosseum com uma sobreposição mostrando o chão da arena como seria visto em Roma antigoThe modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome

A primeira coisa que queríamos fazer foi aprimorar os Tours tradicionais com sobreposições educacionais.The first thing we wanted to do was enhance traditional tours with educational overlays. No HoloTour, quando você visita o ruins do Colosseum como está hoje, o andar da Arena é transformado para mostrar a você como ele seria visto durante o uso, incluindo as áreas de preparo do elaborado Underground.In HoloTour when you visit the ruins of the Colosseum as it stands today, the arena floor is transformed to show you how it would have looked during use, including the elaborate underground staging areas. Em um tour normal, você pode ter essas informações descritas para você e pode tentar imaginar isso, mas em HoloTour você pode realmente vê-la.On a normal tour you might have this information described to you and you could try to imagine it, but in HoloTour you can actually see it.

Para uma sobreposição como essa, tivemos que nossos artistas correspondem ao ponto de vista de nossa seqüência de captura e criamos a imagem sobreposta manualmente.For an overlay like this we had our artists match the viewpoint of our capture footage and create the overlay image by hand. A perspectiva precisa corresponder para que, quando substituirmos o vídeo por nossa imagem, ambas fiquem alinhadas corretamente.The perspective needs to match so that when we replace the video with our image both will align properly.

Preparando o combate GladiatorStaging the gladiator fight

Embora as sobreposições sejam uma maneira envolvente de ensinar as pessoas sobre o histórico, o que ficamos mais empolgados era transportar você de volta no tempo.While overlays are an engaging way to teach people about history, what we were most excited about was transporting you back in time. A sobreposição era apenas uma imagem ainda de um ponto de vista específico, mas a viagem de tempo exigiria que todo o Colosseum fosse modelado e, como discutido acima, precisávamos ter o movimento na cena para que ele se sinta vivo.The overlay was just a still image from a particular viewpoint, but time traveling would require the entire Colosseum to be modeled, and, as discussed above, we needed to have motion in the scene to make it feel alive. Fazer isso levou uma quantidade considerável de esforço.Achieving that took a considerable amount of effort.

Esse empreendimento era muito grande para nossa equipe fazer sozinhos, de modo que nossa equipe de arte trabalhou com Whiskytree, uma empresa de efeitos externos que normalmente trabalha em efeitos visuais para filmes Hollywood.This undertaking was too large for our team to do alone, so our art team worked with Whiskytree, an external effects company that typically works on visual effects for Hollywood movies. A Whiskytree nos ajudou a recriar o Colosseum em seu Heyday, permitindo-nos ensinar você sobre a estrutura enquanto estava na base da arena e criar uma exibição de um Gladiator luta na caixa do Imperador.Whiskytree helped us recreate the Colosseum in its heyday, allowing us to teach you about the structure while standing on the arena floor and to create a view of a gladiator fight from the emperor’s box. Os acenandos e as faixas mais insuficientes adicionam o movimento sutil necessário para fazer com que isso pareça que esses são locais reais e não apenas imagens.The cheering crowds and waving banners add the subtle motion necessary to make it feel like these are real places and not just images.

o Colosseum recriado como visto no chão da arena.The recreated Colosseum as seen from the arena floor. Quando exibido em HoloTour, as faixas Flutter na Breeze, dando uma sensação de movimento.When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.
O Colosseum recriado como visto no chão da arena. Quando exibido em HoloTour, as faixas Flutter na Breeze, dando uma sensação de movimento.The recreated Colosseum as seen from the arena floor. When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.

O tour pelo Roma culmina com o Gladiator luta.The tour of Rome culminates with the gladiator fight. A Whiskytree nos forneceu a arena e as simulações de torcida 3D renderizadas como vídeo, mas precisávamos adicionar o Gladiators no chão da arena.Whiskytree provided us with the arena and 3D crowd simulations rendered as video, but we needed to add in the gladiators on the arena floor. Essa parte do processo parecia mais como uma produção de vídeo Hollywood do que um projeto de um Game Studio do incubação.This part of our process looked more like a Hollywood video production than a project from an incubation game studio. Os membros de nossa equipe mapearam uma seqüência aproximada da luta e a refinaram com um choreographer.Members of our team mapped out a rough fight sequence and then refined it with a choreographer. Contratamos atores para preparar nossa batalha de simulação e comprar a proteção para que ela pareça ser a parte.We hired actors to stage our mock battle and purchased armor so they would look the part. Por fim, vamos filme em toda a cena em uma tela verde.Finally, we filmed the whole scene against a green screen.

nosso Gladiators, obter instruções entre o leva.Our gladiators, getting instructions between takes.
Nosso gladiatiors, obter instruções entre o levaOur gladiatiors, getting instructions between takes

Essa cena coloca você na caixa do imperador, o que significa que toda a seqüência de cenas precisava ser dessa perspectiva.This scene places you in the Emperor’s box, which meant that all the footage needed to be from that perspective. Se nos resumirmos onde os Gladiators estavam combatendo no chão da arena, não teríamos conseguido compor corretamente a seqüência de combate mais tarde, então colocamos nosso operador Camera em uma recortabilidade muito alta, olhando para baixo na seqüência de combate para filming.If we filmed from where the gladiators were fighting on the arena floor, we wouldn't have been able to correctly composite the fight sequence in later, so we put our camera operator up in a very tall scissor lift, looking down on the fight sequence for filming.

obter a perspectiva certa: filming de uma tesoura.Getting the right perspective: filming from a scissor lift.
Obtendo a perspectiva certa: filming de uma tesouraGetting the right perspective: filming from a scissor lift

Em produção, as Gladiators foram compostas no chão da arena e a perspectiva estava correta, mas um problema permaneceva: as sombras do Gladiators na tela verde foram removidas como parte do processo de composição.In post-production, the gladiators were composited onto the arena floor and the perspective was correct, but one issue remained: the shadows of the gladiators on the green screen were removed as part of the compositing process. Sem sombras, parece que o Gladiators estava flutuando no ar.Without shadows, it looked like the gladiators were floating in the air. Felizmente, o Whiskytree é ótimo para resolver apenas esse tipo de problema e eles usaram um pouco de wizardry técnico para adicionar sombras de volta à nossa cena.Luckily, Whiskytree is great at solving just this kind of problem and they used a bit of technical wizardry to add shadows back into our scene. O resultado é o que você vê no Tour hoje.The result is what you see in the tour today.

Sobre os autoresAbout the authors

David Haley David Haley é desenvolvedor sênior que aprendeu mais sobre a câmera Rigs e reprodução de vídeo do que achou possível de trabalhar em HoloTour.David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Jason Syltebo Jason Syltebo é um designer de áudio que garantiu que você pudesse experimentar o soundscape de todos os destinos visitados, mesmo quando volta a usar o tempo.Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time.
Danny Askew Danny Askew é um artista de vídeo que se certificava de que sua jornada por Roma foi o mais perfeita possível.Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.

Consulte tambémSee also