Caso práctico: creación de perspectivas imposibles para HoloTourCase study - Creating impossible perspectives for HoloTour

Queríamos que tu experiencia en HoloTour para Microsoft HoloLens sea unforgettable.We wanted your experiences in HoloTour for Microsoft HoloLens to be unforgettable. Además de las paradas tradicionales de turista, hemos planeado algunas "perspectivas imposibles": momentos que serían imposibles de experimentar en cualquier paseo pero que, a través de la tecnología de HoloLens, podríamos traer directamente a su salón.In addition to the traditional tourist stops, we planned out some "impossible perspectives" – moments that would be impossible to experience on any tour but which, via the technology in HoloLens, we could bring directly to your living room. La creación del contenido de estas experiencias requiere algunas técnicas distintas de las del proceso de captura estándar.Creating the content for these experiences required some different techniques than our standard capture process.

El desafío del contenidoThe content challenge

Hay algunas escenas en la experiencia de HoloTour, como el globo de aire activo que se encuentra sobre el período de Roma y la lucha gladiatorial en el Colosseum de la antigua Roma, que proporcionan vistas únicas que no verá en ningún otro lugar.There are certain scenes in the HoloTour experience—such as the hot air balloon ride over modern-day Rome and the gladiatorial fight at the Colosseum in ancient Rome—that provide unique views you won't see anywhere else. Estos momentos están diseñados para entusiasmarse y sorprenderle, lo que hace que el viaje a través de HoloTour sea algo más que una experiencia educativa.These moments are meant to excite and amaze you, making your trip through HoloTour more than just an educational experience. Estos son los momentos en los que queremos que se olvide y se entusiasmará con la información de otras personas.They are the moments we want you to remember and get excited to tell other people about. Dado que no pudimos poner en marcha nuestra plataforma de cámara en el cielo y aún no hemos realizado el viaje de tiempo, se ha llamado a cada una de estas "perspectivas no posibles" para un enfoque especial en la creación de contenido.Since we couldn't take our camera rig up into the sky and we haven't (yet) mastered time travel, each of these "impossible perspectives" called for a special approach to creating content.

Entre bambalinasBehind the scenes

Crear estos momentos únicos y perspectivas requiere algo más que simplemente filmando y editando.Creating these unique moments and perspectives required more than just filming and editing. Tardó mucho tiempo, personas con muchos conocimientos diferentes y un poco de Hollywood mágica.It took a tremendous amount of time, people with many different skills, and a little bit of Hollywood magic.

Ver Roma desde un globo de aire activoViewing Rome from a hot air balloon

Desde los primeros días de planeación, sabíamos que queríamos realizar vistas aéreas en HoloTour.From our early planning days, we knew we wanted to do aerial views in HoloTour. Ver Roma desde el cielo le proporciona una perspectiva que la mayoría de las personas nunca ven y una idea de cómo se ubican espacialmente los puntos de referencia más populares.Seeing Rome from the sky gives you a perspective that most people never get to see and a sense of how popular landmarks are spatially located. Intentar capturarlas con nuestra cámara y la plataforma de micrófono existentes habría sido enormemente difícil, pero afortunadamente no tenemos que hacerlo.Trying to capture this ourselves with our existing camera and microphone rig would have been tremendously difficult, but luckily we didn’t have to.

En primer lugar, es importante explicar que todas las ubicaciones que visita en HoloTour tienen movimiento.First, it's important to explain that all of the locations you visit in HoloTour have movement in them. Nuestro objetivo era "sentir lo que está realmente allí" y, puesto que está rodeado por el movimiento en todo el mundo real, nuestros destinos virtuales son necesarios para transmitir también el movimiento ambiente.Our goal was to make you “feel like you’re really there” and since you’re surrounded by movement everywhere you go in real life, our virtual destinations needed to convey ambient movement as well. Por ejemplo, al visitar el Pantheon de su viaje, verá que los usuarios se desplazan a través de la Plaza y congregating en los pasos.For instance, when you visit the Pantheon on your trip, you’ll see people wandering throughout the plaza and congregating on the steps. El movimiento de fondo le ayuda a sentir que realmente está en la ubicación, en lugar de hacerlo en un entorno de ensayo y estático.The background motion helps to make you feel like you’re really standing in the location, rather than in a staged, static environment.

Para crear las vistas aéreas para la conducción de globo, trabajamos con otros equipos de Microsoft para obtener acceso a imágenes panorámicas aéreas de Roma.To create the aerial views for the balloon ride, we worked with other teams at Microsoft to get access to aerial panoramic imagery of Rome. La calidad de estas imágenes era excelente y la vista era sorprendente, pero cuando se usaban en segundo plano sin modificarla, parecían de duración en comparación con las otras partes del paseo y la falta de movimiento estaba disstando.The quality of these images was excellent and the view was stunning, but when we used them in the scenes without modification, they felt lifeless compared to the other parts of the tour and the lack of motion was distracting.

La cesta de globo de aire activo, flotante sobre Roma.The hot air balloon basket, floating over Rome.
La cesta de globo de aire activo, flotante sobre RomaThe hot air balloon basket, floating over Rome

Para asegurarse de que las ubicaciones aéreas cumplían la misma barra de calidad que otros destinos, decidimos transformar las fotografías estáticas en escenas de vida y mudanzas.To ensure the aerial locations met the same quality bar as other destinations, we decided to transform the static photographs into living, moving scenes. El primer paso era editar la imagen y el movimiento compuesto en él.The first step was to edit the image and composite motion into it. Hemos contratado un artista de efectos visuales para ayudarnos con esto.We contracted a visual effects artist to help us with this. La edición se realizó para mostrar las nubes con una derivación lenta, las aves voladas por y un plano ocasional o helicóptero que atraviesa el Skyline.Editing was done to show clouds slowly drifting, birds flying by, and an occasional plane or helicopter traversing the skyline. En segundo plano, se han realizado varios automóviles para impulsar las calles.On the ground, a number of cars were made to drive the streets. Si ha estado en el recorrido de Roma en HoloTour, es poco probable que se haya informado explícitamente de cualquiera de estos movimientos.If you’ve been on the tour of Rome in HoloTour, it’s unlikely that you were explicitly aware of any of this movement. Eso es realmente fantástico.That’s actually great! El movimiento sutil no está diseñado para captar el ojo, pero sin estos pequeños toques, los usuarios se han observado inmediatamente que se trata de una imagen estática en la escena.The subtle motion isn’t meant to catch your eye, but without these little touches, people noticed immediately that it was a static image in the scene.

Lo segundo que hicimos fue ofrecer un punto de estratégicos desde el que ver la escena.The second thing we did was give you a vantage point from which to view the scene. No le parecerá que realmente está en realidad si parece que simplemente flota en midair, por lo que creamos un modelo 3D de un globo y lo colocamos dentro de él.You won’t feel like you’re really there if it looks like you’re simply floating in midair, so we created a 3D model of a balloon and placed you inside of it. Esto le permite recorrer el globo y mirar el borde para obtener un mejor punto de vista.This allows you to walk around the balloon and look over the edge to get a better viewpoint. Encontramos que esto es una forma natural y divertida de experimentar la imagen aérea.We found this to be a natural and fun way to experience the aerial imagery.

La experiencia de globo de aire activo presentó desafíos únicos para nuestro equipo de audio, ya que la logística nos impidió que los micrófonos se desplazaran a miles de pies en Roma.The hot air balloon experience presented unique challenges for our audio team, as logistics prevented us from having microphones hovering thousands of feet over Rome. Afortunadamente, teníamos una gran cantidad de capturas de audio ambiente de toda la ciudad que pudimos usar durante la producción.Luckily, we had a large amount of ambient audio capture from all over the city that we were able to use during post-production. Colocamos los emisores de audio en sus ubicaciones relativas desde donde se capturaron desde el principio.We placed audio emitters at their relative locations from where they were captured from the ground. A continuación, el audio se filtró a sonido distante, como si lo oíra de la perspectiva de alguien que ha atacado en el globo de aire caliente, lo que proporciona un SoundScape auténtico y direccional para la escena.The audio was then filtered to sound distant, as if you were hearing it from the perspective of someone riding in the hot air balloon, providing an authentic, directional soundscape for the scene.

Tiempo de viaje a la antigua RomaTime traveling to ancient Rome

Los restos de monumentos y edificios en Roma son impresionantes incluso 2000 años después de su construcción, pero sabíamos que teníamos una oportunidad única para mostrarle lo que sería como volver atrás en el tiempo y ver estas estructuras tal y como aparecían en la antigua versión Roma.The remnants of monuments and buildings throughout Rome are impressive even two thousand years after their construction, but we knew we had a unique opportunity to show you what it would be like to go back in time and see these structures as they appeared in ancient Rome.

Naturalmente, no hay ningún material de vídeo o imagen estática de la Colosseum tal como aparecía cuando se compiló, por lo que necesitábamos crear nuestra propia.Naturally, there isn’t any video footage or static imagery) of the Colosseum as it appeared when it was built, so we needed to create our own. Tuvimos que hacer una gran cantidad de investigación para aprender sobre la estructura que podríamos. comprender los materiales desde los que se realizó, revisar diagramas arquitectónicos y leer descripciones históricas para obtener información suficiente para poder realizar un recreo virtual.We had to do a lot of research to learn as much about the structure as we could; understanding the materials it was made from, reviewing architectural diagrams, and reading historical descriptions to get enough information to be able to make a virtual recreation.

El día actual del Colosseum con una superposición en la que se muestra el suelo de la arena tal como habría visto en la antigua Roma.The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome.
El día actual del Colosseum con una superposición en la que se muestra el suelo de la arena tal como habría visto en la antigua RomaThe modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome

Lo primero que queríamos es mejorar las visitas tradicionales con las superposiciones educativas.The first thing we wanted to do was enhance traditional tours with educational overlays. En HoloTour, cuando visita los soportes de la Colosseum tal y como se encuentra en la actualidad, el suelo se transforma para mostrar cómo se habría visto durante el uso, incluidas las áreas de ensayo subterráneas elaboradas.In HoloTour when you visit the ruins of the Colosseum as it stands today, the arena floor is transformed to show you how it would have looked during use, including the elaborate underground staging areas. En un paseo normal, es posible que tenga esta información, que puede intentar imaginarla, pero en HoloTour puede verla realmente.On a normal tour you might have this information described to you and you could try to imagine it, but in HoloTour you can actually see it.

En el caso de una superposición como esta, nuestros artistas coincidían con el punto de vista de nuestro metraje de captura y creamos la imagen de superposición manualmente.For an overlay like this we had our artists match the viewpoint of our capture footage and create the overlay image by hand. La perspectiva debe coincidir para que, cuando reemplacemos el vídeo con la imagen, ambos se alineen correctamente.The perspective needs to match so that when we replace the video with our image both will align properly.

Ensayo de la lucha GladiatorStaging the gladiator fight

Mientras que las superposiciones son una manera atractiva de enseñar a las personas sobre el historial, lo que nos entusiasmaba más entusiasmado era transportarle de vuelta.While overlays are an engaging way to teach people about history, what we were most excited about was transporting you back in time. La superposición era simplemente una imagen de un punto de vista determinado, pero el tiempo de viaje requeriría que se modelara todo el Colosseum y, como se explicó anteriormente, era necesario tener movimiento en la escena para que se sienta activo.The overlay was just a still image from a particular viewpoint, but time traveling would require the entire Colosseum to be modeled, and, as discussed above, we needed to have motion in the scene to make it feel alive. Lograr esto supuso una cantidad considerable de esfuerzo.Achieving that took a considerable amount of effort.

Este compromiso es demasiado grande para que nuestro equipo se haga por sí solo, por lo que nuestro equipo de arte trabajó con Whiskytree, una empresa de efectos externos que normalmente trabaja en efectos visuales para películas de Hollywood.This undertaking was too large for our team to do alone, so our art team worked with Whiskytree, an external effects company that typically works on visual effects for Hollywood movies. Whiskytree nos ayudó a volver a crear el Colosseum en su Heyday, lo que nos permite enseñarle sobre la estructura mientras se encuentra en el suelo de la arena y crear una vista de una lucha de Gladiator desde el cuadro del emperador.Whiskytree helped us recreate the Colosseum in its heyday, allowing us to teach you about the structure while standing on the arena floor and to create a view of a gladiator fight from the emperor’s box. Los amontonamientos de Felicidades y las pancartas de salud agregan el movimiento sutil necesario para que parezca que se trata de lugares reales y no solo de imágenes.The cheering crowds and waving banners add the subtle motion necessary to make it feel like these are real places and not just images.

La Colosseum recreada, tal como se ha detectado en el suelo de la arena.The recreated Colosseum as seen from the arena floor. Cuando se visualizan en HoloTour, los banners se fluttern en el pan, lo que permite un movimiento.When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.
La Colosseum recreada, tal como se ha detectado en el suelo de la arena. Cuando se visualizan en HoloTour, los banners se fluttern en el pan, lo que permite un movimiento.The recreated Colosseum as seen from the arena floor. When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.

El paseo por Roma culmina con la lucha Gladiator.The tour of Rome culminates with the gladiator fight. Whiskytree nos proporcionó las simulaciones de la arena y el terreno 3D representadas como vídeo, pero necesitábamos agregar en el Gladiators en el suelo de la arena.Whiskytree provided us with the arena and 3D crowd simulations rendered as video, but we needed to add in the gladiators on the arena floor. Esta parte de nuestro proceso parecía más similar a una producción de vídeo de Hollywood que un proyecto de un estudio de incubación.This part of our process looked more like a Hollywood video production than a project from an incubation game studio. Los miembros de nuestro equipo han asignado una secuencia de lucha aproximada y, a continuación, la refinan con un Choreographer.Members of our team mapped out a rough fight sequence and then refined it with a choreographer. Contratamos a los actores en el ensayo de nuestra lucha simulada y de la armadura comprada para que lo parezcan.We hired actors to stage our mock battle and purchased armor so they would look the part. Por último, hemos filmado toda la escena en una pantalla verde.Finally, we filmed the whole scene against a green screen.

Nuestro Gladiators, obteniendo instrucciones entre el proceso.Our gladiators, getting instructions between takes.
Nuestro gladiatiors, obteniendo instrucciones entre el procesoOur gladiatiors, getting instructions between takes

Esta escena le coloca en el cuadro del emperador, lo que significaba que todo el material de metraje debía ser de esa perspectiva.This scene places you in the Emperor’s box, which meant that all the footage needed to be from that perspective. Si se filmó desde donde el Gladiators lucha en el suelo de la arena, no habríamos componer correctamente la secuencia de lucha en el futuro, por lo que ponemos en marcha nuestro operador de cámara en una gran elevación de tijeras, observando la secuencia de lucha para filmarla.If we filmed from where the gladiators were fighting on the arena floor, we wouldn't have been able to correctly composite the fight sequence in later, so we put our camera operator up in a very tall scissor lift, looking down on the fight sequence for filming.

Obtener la perspectiva adecuada: filmando a partir de un elevador de tijeras.Getting the right perspective: filming from a scissor lift.
Obtener la perspectiva adecuada: filmando a partir de un elevador de tijerasGetting the right perspective: filming from a scissor lift

En postproducción, el Gladiators se composite en el suelo de la fase y la perspectiva era correcta, pero quedaba un problema: las sombras del Gladiators en la pantalla verde se quitaban como parte del proceso de composición.In post-production, the gladiators were composited onto the arena floor and the perspective was correct, but one issue remained: the shadows of the gladiators on the green screen were removed as part of the compositing process. Sin sombras, parecía que los Gladiators estaban flotando en el aire.Without shadows, it looked like the gladiators were floating in the air. Afortunadamente, Whiskytree es excelente para resolver solo este tipo de problema y usaba un poco de Wizardry técnico para volver a agregar sombras a nuestra escena.Luckily, Whiskytree is great at solving just this kind of problem and they used a bit of technical wizardry to add shadows back into our scene. El resultado es lo que ve en el paseo hoy mismo.The result is what you see in the tour today.

Acerca de los autoresAbout the authors

David Haley David Haley es un Desarrollador Senior que ha aprendido más sobre las plataformas de cámara y la reproducción de vídeo de las que pensaba que podía trabajar en HoloTour.David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Jason Syltebo Jason Syltebo es un diseñador de audio que nos ha asegurado de que pudiera experimentar el soundscape de todos los destinos que visita, incluso cuando regresa al tiempo.Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time.
Danny Askew Danny Askew es un artista de vídeo que nos ha asegurado de que su viaje a Roma sea lo más fácil posible.Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.

Consulte tambiénSee also