Caso práctico: diseño de sonido espacial para HoloTourCase study: Spatial sound design for HoloTour

Los vídeos panorámicos y los escenarios holográficas solo forman parte de la fórmula de un paseo por Microsoft HoloLens.Panoramic videos and holographic scenery are only part of the formula for an immersive Microsoft HoloLens tour. En este artículo se describe cómo se usó el sonido para que se parezca que realmente está en cada ubicación de HoloTour.This article describes how sound was used to make you feel like you're actually in each HoloTour location.

La tecnologíaThe tech

Las atractivas imágenes y escenas holográficas que se ven en HoloTour son solo una parte de una experiencia de realidad mixta increíble.The beautiful imagery and holographic scenes that you see in HoloTour are only one part of a believable mixed-reality experience. Aunque los hologramas solo aparecen delante de un usuario, HoloLens puede proporcionar sonido espacial desde todas las direcciones, lo que proporciona una experiencia organoléptica más completa.While holograms only appear in front of a user, HoloLens can deliver spatial sound from all directions, which provides a more-complete sensory experience.

El sonido espacial proporciona indicaciones para indicar una dirección que el usuario debe activar o permitir que el usuario sepa que hay más hologramas para ver dentro de su espacio.Spatial sound provides cues to indicate a direction the user should turn or to let the user know there are more holograms to see within their space. También se puede adjuntar un sonido directamente a un holograma y actualizar continuamente la dirección y la distancia que el holograma proviene del usuario.We can also attach a sound directly to a hologram and continually update the direction and distance that the hologram is from the user. Esta técnica hace que parezca que el sonido proviene directamente de ese objeto.This technique makes it seem as if the sound is coming directly from that object.

En el caso de HoloTour, queríamos aprovechar las capacidades de sonido espacial de HoloLens, por lo que creamos un entorno ambiente de 360 grados que se sincroniza con el vídeo para mostrar los resaltados de Sonic de ubicaciones específicas.For HoloTour, we wanted to take advantage of the spatial sound capabilities of HoloLens, so we created a 360-degree ambient environment that's synchronized with the video to reveal the sonic highlights of specific locations.

Entre bambalinasBehind the scenes

Creamos experiencias de HoloTour de dos ubicaciones diferentes: Roma y Machu Picchu.We created HoloTour experiences of two different locations: Rome and Machu Picchu. Para que estos paseos se sientan auténticos y atractivos, queríamos capturar audio de las ubicaciones donde se filmó en lugar de usar sonidos genéricos.To make these tours feel authentic and compelling, we wanted to capture audio from the locations where we filmed instead of using generic sounds.

Captura del audioCapturing the audio

En nuestro caso práctico sobre la captura del contenido visual para HoloTour, hablamos del diseño de la plataforma de la cámara.In our case study about capturing the visual content for HoloTour, we talk about the design of our camera rig. Constaba de 14 cámaras GoPro en una carcasa impresa en 3D diseñada para adaptarse al trípode.It consisted of 14 GoPro cameras in a 3D-printed housing that was designed to fit the tripod. Para capturar audio, agregamos una matriz de micrófono cuádruple debajo de las cámaras.To capture audio, we added a quad-microphone array below the cameras. El sonido se alimenta en una unidad de grabación de cuatro canales compacta en la base del trípode.The sound feeds into a compact four-channel recording unit at the base of the tripod. Hemos elegido los micrófonos que han sido correctos, pero que eran lo suficientemente pequeños como para evitar interferir con las cámaras.We chose microphones that did well but were small enough to avoid interfering with the cameras.

Plataforma de micrófono y videocámara personalizadaCustom-made camera and microphone rig
Plataforma de micrófono y de cámara personalizadaCustom camera and microphone rig

Esta configuración captura sonido en cuatro direcciones.This setup captures sound in four directions. Hemos grabado suficiente información para volver a crear una panorámica 3D aural de sonido espacial, que posteriormente podría sincronizar con el vídeo de 360 grados.We recorded enough information to re-create a 3D aural panorama of spatial sound, which we could later synchronize to the 360-degree video.

Uno de los desafíos del audio de la matriz de cámara es que está a la velocidad de los sonidos fuera de la cámara, como Sirens, aviones o altas vueltas.One challenge of the camera-array audio is that you're at the mercy of off-camera sounds, such as sirens, airplanes, or high winds. Para asegurarse de que teníamos todos los elementos de sonido necesarios, usamos grabadores móviles estéreo y mono para capturar el sonido ambiente asincrónico en puntos de interés específicos de cada ubicación.To make sure we had all the sound elements we needed, we used stereo and mono mobile recorders to capture asynchronous, ambient sound at specific points of interest in each location. Estas grabaciones proporcionan al diseñador de sonido el contenido limpio para agregar interés y mejorar la direccionalidad en la producción posterior.These recordings give the sound designer clean content to add interest and improve directionality in post-production.

Cada día de captura genera muchos archivos.Every capture day generates many files. Por lo tanto, era importante desarrollar un sistema para realizar un seguimiento de qué archivos corresponden a una determinada ubicación o cámara.So it was important to develop a system to track which files correspond to a particular location or camera shot. La unidad de grabación se configuró para asignar nombres automáticamente a los archivos por fecha y "Take".Our recording unit was set up to automatically name files by date and "take" number. Hemos realizado copias de seguridad de los archivos en unidades externas al final de cada día.We backed up files to external drives at the end of each day. También encontramos que es importante empezar de cero a las grabaciones de audio.We also found it important to verbally slate the beginning of the audio recordings. Esta precaución permite una sencilla identificación contextual del contenido en caso de que se produzcan problemas con el nombre de archivo.This precaution allows easy contextual identification of the content in case file-name problems occur. También era importante ver la captura de la plataforma de la cámara, ya que el vídeo y el audio se grabaron como medios independientes y debían sincronizarse durante el postproducción.It was also important to visually slate the camera rig capture, because the video and audio were recorded as separate media and had to be synchronized during post-production.

Edición del audioEditing the audio

En el estudio después del viaje de captura, el primer paso para ensamblar una experiencia de aural direccional y envolvente es revisar todo el audio capturado para una ubicación.Back at the studio after the capture trip, the first step in assembling a directional and immersive aural experience is to review all the captured audio for a location. Seleccionamos las mejores tomas e identificamos los resaltados que se pueden aplicar durante la integración.We pick the best takes and identify highlights that can be applied during integration. Después, el audio se edita y se limpia.The audio is then edited and cleaned up. Por ejemplo, una bocina de coche que dura un segundo, o lo que se repite varias veces, se puede reemplazar por un audio ambiente más silencioso de la misma sesión de captura.For example, a car horn blast that lasts a second or so and repeats a few times might be replaced with quieter ambient audio from the same capture session.

Una vez establecida la edición de vídeo de una ubicación, el diseñador de sonido puede sincronizar el audio correspondiente.After the video edit for a location is set, the sound designer can synchronize the corresponding audio. En este punto, evaluaremos las capturas de sonido móvil y de la plataforma de cámara para decidir qué elementos compilarían la mejor escena de audio envolvente.At this point, we assess both the camera-rig and mobile sound captures to decide which elements would build the best immersive audio scene. Encontramos útil colocar todos los elementos de sonido en un editor de audio y crear simuladores lineales rápidos para experimentar con distintas ideas de combinación.We found it useful to put all the sound elements into an audio editor and build quick linear mock-ups to experiment with different mix ideas. Este paso nos ha proporcionado mejores ideas sobre Cuándo llegó el momento de crear las escenas HoloTours reales.This step gave us better-formed ideas for when it came time to build the actual HoloTour scenes.

Montaje de la escenaAssembling the scene

El primer paso para crear una escena ambiente 3D es crear una cama de sonidos de bucle de ambiente de fondo generales que admitan otras características y elementos de sonido interactivos en una escena.The first step to building a 3D ambient scene is to create a bed of general background ambient looping sounds that will support other features and interactive sound elements in a scene. Tomamos un enfoque holístico de la implementación según lo determinen los criterios de diseño de cualquier escena determinada.We take a holistic approach to implementation as determined by the design criteria for any particular scene. Algunas escenas pueden indexar hacia el uso de la captura de cámara sincronizada.Some scenes might index toward using the synchronized camera capture. Un momento más "cinematográfico" podría requerir un enfoque seleccionada que se basa en sonidos, elementos interactivos y música colocados discretamente.More "cinematic" moments might require a curated approach that relies on discretely placed sounds, interactive elements, and music.

Cuando se indexa en el audio de captura de cámara, colocamos emisores de audio ambiente de ambiente habilitados para sonido espacial que se corresponden con la orientación direccional de las cámaras.When we indexed on the camera-capture audio, we placed spatial sound-enabled ambient audio emitters that corresponded to the directional orientation of the cameras. La vista de cámara norte Reproduce audio desde el micrófono norte y, de forma similar, para las otras direcciones cardinales.The north camera view plays audio from the north microphone, and likewise for the other cardinal directions. Estos emisores están bloqueados mundialmente, lo que significa que el sonido cambia cuando los usuarios cambian de cabeza.These emitters are world-locked, which means the sound changes when users turn their heads. Esta técnica modela de forma eficaz el sonido de la posición en esa ubicación.This technique effectively models the sound of standing at that location. Escuche Piazza Navona o Pantheon para ver ejemplos de escenas que usan una buena combinación de audio capturado por cámara.Listen to Piazza Navona or The Pantheon for examples of scenes that use a good mix of camera-captured audio.

En un enfoque diferente, a veces se reproduce ambiente estéreo en bucle con los emisores de sonido espacial que se colocan alrededor de la escena.In a different approach, we sometimes play looping stereo ambience with spatial sound emitters that are placed around the scene. Estos emisores juegan un sonido único de volumen aleatorio, tono y frecuencia del desencadenador.These emitters play one-off sounds of randomized volume, pitch, and trigger frequency. Esta técnica crea ambiente que tiene un sentido mejorado de direccionalidad.This technique creates ambience that has an enhanced sense of directionality. En aguas Alienates, por ejemplo, puede oír cómo cada cuadrante de la panorámica tiene emisores específicos que resaltan áreas específicas de la geografía pero colaboran para crear un ambiente envolvente general.In Aguas Alienates, for example, you can hear how each quadrant of the panorama has specific emitters that highlight specific areas of the geography but work together to create an overall immersive ambience.

Sugerencias y trucosTips and tricks

Hay otras maneras de resaltar la direccionalización y mejorar la inmersión para hacer un uso completo de las capacidades de sonido espacial de HoloLens.There are other ways to highlight directionality and improve immersion to make full use of the spatial sound capabilities of HoloLens. Hemos proporcionado una lista aquí.We've provided a list here. Escuche estos efectos la próxima vez que intente HoloTour.Listen for these effects the next time that you try HoloTour.

  • Buscar destinos: Estos sonidos se desencadenan cuando se observa un objeto o área específica del marco holográfica.Look targets: These sounds are triggered when you look at a specific object or area of the holographic frame. Por ejemplo, mire hacia el café de la calle del Navona de Piazza de Roma para desencadenar sutilmente los sonidos de los restaurantes ocupados.For example, look toward the street-side café in Rome's Piazza Navona to subtly trigger busy-restaurant sounds.
  • Visión local: El viaje a través de HoloTour contiene ciertas "pulsaciones" en las que la guía del paseo, asistida por hologramas, explora un tema en profundidad.Local vision: The journey though HoloTour contains certain "beats" where your tour guide, aided by holograms, explores a topic in-depth. Por ejemplo, a medida que la fachada del Pantheon se resuelve para mostrar el Oculus, la reverberación de audio que se colocó como un emisor 3D desde dentro de la Pantheon anima al usuario a explorar el interior.For instance, as the façade of the Pantheon dissolves to reveal the oculus, reverberating audio that was placed as a 3D emitter from inside the Pantheon encourages the user to explore the interior.
  • Direccionalidad mejorada: En muchas escenas, colocamos sonidos de varias maneras para agregarlos a la direccionalidad.Enhanced directionality: Within many scenes, we placed sounds in various ways to add to directionality. En la escena de Pantheon, por ejemplo, el sonido de la fuente se colocó como una emisora independiente lo suficientemente cerca del usuario que podía tener una idea de "Sonic Parallax" a medida que recorren el espacio de juego.In the Pantheon scene, for example, the sound of the fountain was placed as a separate emitter close enough to the user that they could get a sense of "sonic parallax" as they walk around the play space. En la escena de Salinas de Maras de Perú, los sonidos de los pocos flujos individuales se colocaban como emisores independientes para compilar un entorno ambiente más envolvente, lo que rodea al usuario con los sonidos auténticos de esa ubicación.In Peru's Salinas de Maras scene, the sounds of individual little streams were placed as separate emitters to build a more immersive ambient environment, surrounding the user with the authentic sounds of that location.
  • Emisor de Spline: Estos emisores se mueven en el espacio 3D en función de la posición visual del objeto al que están asociados.Spline emitter: These emitters move in 3D space based on the visual position of the object that they're attached to. Un ejemplo es el tren en Machu Picchu, donde usamos un emisor de spline para dar una sensación distintiva de direccionalidad y movimiento.An example is the train in Machu Picchu, where we used a spline emitter to give a distinct sense of directionality and movement.
  • Música y SFX: Algunos aspectos de HoloTour que representan un enfoque más estilizado o cinematográfico usan música y efectos sonoros para aumentar el impacto emocional.Music and SFX: Certain aspects of HoloTour that represent a more stylized or cinematic approach use music and sound effects to heighten emotional impact. Por ejemplo, la batalla de Gladiator al final del paseo de Roma usa efectos especiales como whooshes y los separadores para reforzar el efecto de las etiquetas que aparecen en segundo plano.For example, the gladiator battle at the end of the Rome tour uses special effects like whooshes and stingers to strengthen the effect of labels that appear in the scenes.

Consulte tambiénSee also