Estudo de caso: design de som espacial para HoloTourCase study: Spatial sound design for HoloTour

Vídeos panorâmicos e cenários holographics são apenas parte da fórmula para um tour virtual do Microsoft HoloLens verdadeiramente envolvente.Panoramic videos and holographic scenery are only part of the formula for a truly immersive virtual Microsoft HoloLens tour. Este artigo descreve como o som foi usado para fazer você sentir como você realmente está em cada local HoloTour.This article describes how sound was used to make you feel like you're actually in each HoloTour location.

O TechThe tech

As belas imagens e cenas holographics que você vê em HoloTour são apenas uma parte de uma experiência de realidade mista verossímeis.The beautiful imagery and holographic scenes that you see in HoloTour are only one part of a believable mixed-reality experience. Embora os hologramas só possam aparecer visualmente na frente de um usuário, o som espacial que o HoloLens entrega de todas as direções fornece uma experiência de sensor mais completa.While holograms can only appear visually in front of a user, the spatial sound that HoloLens delivers from all directions provides a more-complete sensory experience.

O som espacial fornece indicações para indicar uma direção que o usuário deve ativar ou para permitir que o usuário saiba que há mais hologramas para ver dentro de seu espaço.Spatial sound provides cues to indicate a direction the user should turn or to let the user know that there are more holograms to see within their space. Também podemos anexar um som diretamente a um holograma e atualizar continuamente a direção e a distância que o holograma é do usuário.We can also attach a sound directly to a hologram and continually update the direction and distance that the hologram is from the user. Essa técnica faz parecer que o som é proveniente diretamente desse objeto.This technique makes it seem as if the sound is coming directly from that object.

Para o HoloTour, queríamos aproveitar os recursos de som espacial do HoloLens para criar um ambiente de 360 graus que é sincronizado com o vídeo para revelar os destaques da Sonic de locais específicos.For HoloTour, we wanted to take advantage of the spatial sound capabilities of HoloLens to create a 360-degree ambient environment that's synchronized with the video to reveal the sonic highlights of specific locations.

Nos bastidoresBehind the scenes

Criamos experiências HoloTour de dois locais diferentes: Roma e Machu Picchu.We created HoloTour experiences of two different locations: Rome and Machu Picchu. Para fazer esses Tours se sentirem autênticos e atraentes, queríamos capturar áudio dos locais onde nos refilmemos em vez de usar sons genéricos.To make these tours feel authentic and compelling, we wanted to capture audio from the locations where we filmed instead of using generic sounds.

Capturar o áudioCapture the audio

Em nosso estudo de caso sobre como capturar o conteúdo visual para HoloTour, falamos sobre o design do nosso Rig de câmera.In our case study about capturing the visual content for HoloTour, we talk about the design of our camera rig. Ele consistiu em 14 câmeras GoPro em um invólucro 3D que foi projetado para se ajustar ao Tripod.It consisted of 14 GoPro cameras in a 3D-printed housing that was designed to fit the tripod. Para capturar áudio, adicionamos uma matriz de microfone quádruplo abaixo das câmeras.To capture audio, we added a quad-microphone array below the cameras. O som foi alimentado em uma unidade de gravação compactada de quatro canais na base do tripod.The sound was fed into a compact four-channel recording unit at the base of the tripod. Escolhemos os microfones que executaram bem, mas eram pequenos o suficiente para evitar interferir nas câmeras.We chose microphones that performed well but were small enough to avoid interfering with the cameras.

equipamentos de câmera e microfone personalizadosCustom-made camera and microphone rig
Câmera personalizada e Rig do microfoneCustom camera and microphone rig

Essa configuração captura som em quatro direções.This setup captures sound in four directions. Registramos informações suficientes para recriar um panorama 3D auricular de som espacial, que poderíamos ser sincronizado posteriormente com o vídeo de 360 graus.We recorded enough information to re-create a 3D aural panorama of spatial sound, which we could later synchronize to the 360-degree video.

Um desafio do áudio da matriz de câmera é que você está na mercê de sons fora da câmera, como Sirens, aviões ou altos ventos.One challenge of the camera-array audio is that you're at the mercy of off-camera sounds, such as sirens, airplanes, or high winds. Para certificar-se de que tínhamos todos os elementos de som que precisávamos, também usamos os gravadores móveis estéreo e mono para capturar o som ambiente assíncrono em pontos de interesse específicos em cada local.To make sure that we had all the sound elements that we needed, we also used stereo and mono mobile recorders to capture asynchronous, ambient sound at specific points of interest in each location. Essas gravações fornecem ao designer de som o conteúdo limpo para adicionar interesse e melhorar a direcionalidade na produção.These recordings give the sound designer clean content to add interest and improve directionality in post-production.

Cada dia de captura gera muitos arquivos.Every capture day generates many files. Portanto, era importante desenvolver um sistema para controlar quais arquivos correspondem a um local ou uma captura de câmera específica.So it was important to develop a system to track which files correspond to a particular location or camera shot. Nossa unidade de gravação foi configurada para nomear automaticamente os arquivos por data e o número "Take".Our recording unit was set up to automatically name files by date and "take" number. Fazemos backup de arquivos em unidades externas no final de cada dia.We backed up files to external drives at the end of each day. Também achamos importante para o início verbal das gravações de áudio.We also found it important to verbally slate the beginning of the audio recordings. Essa precaução permite uma identificação contextual fácil do conteúdo caso ocorram problemas de nome de arquivo.This precaution allows easy contextual identification of the content in case file-name problems occur. Também era importante remediar visualmente a captura de Rig da câmera, pois o vídeo e o áudio foram registrados como mídia separada e precisavam ser sincronizados durante a produção.It was also important to visually slate the camera rig capture, because the video and audio were recorded as separate media and had to be synchronized during post-production.

Editar o áudioEdit the audio

De volta ao estúdio após a viagem de captura, a primeira etapa na montagem de uma experiência de auricular direcional e de imersão é examinar todo o áudio que foi capturado para um local.Back at the studio after the capture trip, the first step in assembling a directional and immersive aural experience is to review all the audio that was captured for a location. Escolhemos a melhor forma e identificamos os destaques que podem ser aplicados durante a integração.We pick the best takes and identify highlights that can be applied during integration. O áudio é então editado e limpo.The audio is then edited and cleaned up. Por exemplo, uma haste de carro que dura um segundo ou então repete algumas vezes pode ser substituída por áudio de ambiente mais silencioso da mesma sessão de captura.For example, a car horn blast that lasts a second or so and repeats a few times might be replaced with quieter ambient audio from the same capture session.

Depois que a edição de vídeo de um local é definida, o designer de som pode sincronizar o áudio correspondente.After the video edit for a location is set, the sound designer can synchronize the corresponding audio. Neste ponto, avaliamos as capturas de câmera e de som móvel para decidir quais elementos funcionariam para criar uma cena de áudio de imersão.At this point, we assess both the camera-rig and mobile sound captures to decide what elements would work to build an immersive audio scene. Descobrimos que é útil colocar todos os elementos Sound em um editor de áudio e criar simulações lineares rápidas para experimentar diferentes ideias de combinação.We found it useful to put all the sound elements into an audio editor and build quick linear mock-ups to experiment with different mix ideas. Esta etapa nos forneceu ideias mais bem formadas para quando chegou a hora de criar os bastidores de HoloTour reais.This step gave us better-formed ideas for when it came time to build the actual HoloTour scenes.

Montar a cenaAssemble the scene

A primeira etapa para a criação de uma cena de ambiente 3D é criar uma base de sons gerais de loop de ambiente em segundo plano que dará suporte a outros recursos e elementos de som interativos em uma cena.The first step to building a 3D ambient scene is to create a bed of general background ambient looping sounds that will support other features and interactive sound elements in a scene. Pegamos uma abordagem holística à implementação, conforme determinado pelos critérios de design de qualquer cena específica.We take a holistic approach to implementation as determined by the design criteria for any particular scene. Algumas cenas podem ser indexadas para usar a captura de câmera sincronizada.Some scenes might index toward using the synchronized camera capture. Mais "Cinematic" momentos pode exigir uma abordagem organizada que dependa de sons, elementos interativos e música inseridos de maneira discreta.More "cinematic" moments might require a curated approach that relies on discretely placed sounds, interactive elements, and music.

Quando indexamos o áudio de captura de câmera, colocamos emissores de áudio de ambiente habilitados para som espacial que corresponderam à orientação direcional das câmeras.When we indexed on the camera-capture audio, we placed spatial sound-enabled ambient audio emitters that corresponded to the directional orientation of the cameras. A exibição da câmera do Norte Reproduz áudio do microfone norte e, da mesma forma, para as outras direções Cardeal.The north camera view plays audio from the north microphone, and likewise for the other cardinal directions. Esses emissores são bloqueados pelo mundo, o que significa que, quando o usuário transforma sua cabeça em relação a eles, o som muda.These emitters are world-locked, which means that when the user turns their head in relation to them, the sound changes. Essa técnica modela efetivamente o som de pé nesse local.This technique effectively models the sound of standing at that location. Ouça o Piazza Navona ou o Pantheon para obter exemplos de cenas que usam uma boa combinação de áudio capturado na câmera.Listen to Piazza Navona or The Pantheon for examples of scenes that use a good mix of camera-captured audio.

Em uma abordagem diferente, às vezes executamos loops estéreo de Ambience em conjunto com emissores de som espaciais que são colocados em volta da cena.In a different approach, we sometimes play looping stereo ambience in conjunction with spatial sound emitters that are placed around the scene. Esses emissores reproduzem sons únicos de frequência aleatória de volume, densidade e gatilho.These emitters play one-off sounds of randomized volume, pitch, and trigger frequency. Essa técnica cria Ambience que tem um aspecto aprimorado de direcionalidade.This technique creates ambience that has an enhanced sense of directionality. No Aguas Alienates, por exemplo, você pode saber como cada quadrante do panorama tem emissores específicos que realçam áreas específicas da geografia, mas trabalham em conjunto para criar um Ambience de imersão geral.In Aguas Alienates, for example, you can hear how each quadrant of the panorama has specific emitters that highlight specific areas of the geography but work together to create an overall immersive ambience.

Dicas e truquesTips and tricks

Há algumas maneiras adicionais de destacar a direcionalidade e melhorar o imersão para fazer uso completo dos recursos de som espacial do HoloLens.There are some additional ways to highlight directionality and improve immersion to make full use of the spatial sound capabilities of HoloLens. Fornecemos uma lista aqui.We've provided a list here. Escute esses efeitos na próxima vez que tentar HoloTour.Listen for these effects the next time that you try HoloTour.

  • Procurar destinos: Esses sons são disparados quando você examina um objeto ou uma área específica do quadro Holographic.Look targets: These sounds are triggered when you look at a specific object or area of the holographic frame. Por exemplo, procure o café do lado da rua no Piazza Navona de Roma para disparar sutilmente sons de Busy-restaurante.For example, look toward the street-side café in Rome's Piazza Navona to subtly trigger busy-restaurant sounds.
  • Visão local: Embora a jornada HoloTour contenha determinados "batidas", onde o guia do Tour, auxiliado por holograma, explora um tópico em detalhes.Local vision: The journey though HoloTour contains certain "beats" where your tour guide, aided by holograms, explores a topic in-depth. Por exemplo, à medida que a fachada do Pantheon é resolvida para revelar o Oculus, o áudio do reverberating que foi colocado como um emissor 3D de dentro do Pantheon incentiva o usuário a explorar o interior.For instance, as the façade of the Pantheon dissolves to reveal the oculus, reverberating audio that was placed as a 3D emitter from inside the Pantheon encourages the user to explore the interior.
  • Direcionalidade aprimorada: Em muitos bastidores, colocamos sons de várias maneiras de adicionar à direcionalidade.Enhanced directionality: Within many scenes, we placed sounds in various ways to add to directionality. Na cena Pantheon, por exemplo, o som do Fountain foi colocado como um emissor separado próximo o suficiente para que o usuário pudesse ter uma noção de "Sonic da Parallax" à medida que eles se encaminharem pelo espaço de jogo.In the Pantheon scene, for example, the sound of the fountain was placed as a separate emitter close enough to the user that they could get a sense of "sonic parallax" as they walk around the play space. Na cena Salinas de Maras do Peru, os sons de pequenos fluxos individuais foram colocados como emissores separados para criar um ambiente ambiente mais imersiva, ao redor do usuário com os sons autênticos desse local.In Peru's Salinas de Maras scene, the sounds of individual little streams were placed as separate emitters to build a more immersive ambient environment, surrounding the user with the authentic sounds of that location.
  • Emissor de spline: Esses emissores se movem em espaço 3D em relação à posição visual do objeto ao qual estão anexados.Spline emitter: These emitters move in 3D space relative to the visual position of the object that they're attached to. Um exemplo é o treinamento no Machu Picchu, no qual usamos um emissor de spline para dar uma noção distinta de direcionalidade e movimento.An example is the train in Machu Picchu, where we used a spline emitter to give a distinct sense of directionality and movement.
  • Música e SFX: Determinados aspectos de HoloTour que representam uma abordagem mais estilizada ou Cinematic usam efeitos de música e som para reforçar o impacto emocional.Music and SFX: Certain aspects of HoloTour that represent a more stylized or cinematic approach use music and sound effects to heighten emotional impact. Na batalha de Gladiator no final do Tour de Roma, por exemplo, efeitos especiais como whooshes e Stingers ajudam a reforçar o efeito dos rótulos que aparecem nos bastidores.In the gladiator battle at the end of the Rome tour, for example, special effects like whooshes and stingers help strengthen the effect of labels that appear in the scenes.

Consulte tambémSee also