사례 연구: HoloTour에 대 한 공간 음향 디자인Case study: Spatial sound design for HoloTour

파노라마 비디오 및 holographic 장면은 모던 Microsoft HoloLens 둘러보기에 대 한 수식의 일부일 뿐입니다.Panoramic videos and holographic scenery are only part of the formula for an immersive Microsoft HoloLens tour. 이 문서에서는 각 HoloTour 위치에 실제로 있는 것과 같은 느낌을 주는 소리를 사용 하는 방법을 설명 합니다.This article describes how sound was used to make you feel like you're actually in each HoloTour location.

기술The tech

HoloTour에 표시 되는 멋진 이미지 및 holographic 장면은 이익은 혼합 현실 환경의 한 부분입니다.The beautiful imagery and holographic scenes that you see in HoloTour are only one part of a believable mixed-reality experience. Holograms 사용자 앞에만 표시 되는 반면 HoloLens는 모든 방향에서 공간 소리 를 제공할 수 있으며,이는 전체 토대로 환경을 제공 합니다.While holograms only appear in front of a user, HoloLens can deliver spatial sound from all directions, which provides a more-complete sensory experience.

공간 사운드는 사용자가 전환 해야 하는 방향을 나타내는 신호를 제공 하거나 사용자에 게 해당 공간 내에서 볼 수 있는 더 많은 holograms 있는지를 알려 줍니다.Spatial sound provides cues to indicate a direction the user should turn or to let the user know there are more holograms to see within their space. 또한 홀로그램에 직접 소리를 연결 하 고 홀로그램 사용자의 방향 및 거리를 지속적으로 업데이트할 수 있습니다.We can also attach a sound directly to a hologram and continually update the direction and distance that the hologram is from the user. 이 기법을 사용 하면 소리를 해당 개체에서 직접 가져온 것 처럼 보입니다.This technique makes it seem as if the sound is coming directly from that object.

HoloTour의 경우 HoloLens의 공간 음향 기능을 활용 하려고 했으므로 비디오와 동기화 된 360도 주변 환경을 만들어 특정 위치의 sonic 하이라이트를 표시 했습니다.For HoloTour, we wanted to take advantage of the spatial sound capabilities of HoloLens, so we created a 360-degree ambient environment that's synchronized with the video to reveal the sonic highlights of specific locations.

배후 상황Behind the scenes

두 개의 다른 위치인 로마 및 Machu HoloTour 환경을 만들었습니다.We created HoloTour experiences of two different locations: Rome and Machu Picchu. 이러한 투어를 인증 하 고 매력적인 느낌을 위해 일반적인 소리를 사용 하는 대신 filmed 위치에서 오디오를 캡처 하려고 했습니다.To make these tours feel authentic and compelling, we wanted to capture audio from the locations where we filmed instead of using generic sounds.

오디오 캡처Capturing the audio

HoloTour에 대 한 시각적 콘텐츠 캡처에 대 한 microsoft의 사례 연구에서는 카메라 rig의 설계에 대해 설명 합니다.In our case study about capturing the visual content for HoloTour, we talk about the design of our camera rig. Tripod에 맞게 설계 된 3D 인쇄 하우징에 14 개의 GoPro 카메라를 구성 했습니다.It consisted of 14 GoPro cameras in a 3D-printed housing that was designed to fit the tripod. 오디오를 캡처하려면 카메라 아래에 4 개의 마이크 배열을 추가 했습니다.To capture audio, we added a quad-microphone array below the cameras. 소리는 tripod의 기본에 있는 컴팩트 4 채널 기록 단위로 피드 됩니다.The sound feeds into a compact four-channel recording unit at the base of the tripod. 잘 되었지만 카메라를 방해 하지 않을 정도로 작은 마이크를 선택 했습니다.We chose microphones that did well but were small enough to avoid interfering with the cameras.

사용자 지정 카메라 및 마이크 rigCustom-made camera and microphone rig
사용자 지정 카메라 및 마이크 rigCustom camera and microphone rig

이 설치 프로그램은 4 방향으로 소리를 캡처합니다.This setup captures sound in four directions. Aural 3D의 공간 사운드를 다시 만들 수 있는 충분 한 정보를 기록 하 여 나중에 360도 비디오에 동기화 할 수 있습니다.We recorded enough information to re-create a 3D aural panorama of spatial sound, which we could later synchronize to the 360-degree video.

카메라 배열 오디오의 한 가지 문제는 sirens, 비행기, high 기간 동안 등 카메라 좌우 소리를 표시 하는 것입니다.One challenge of the camera-array audio is that you're at the mercy of off-camera sounds, such as sirens, airplanes, or high winds. 필요한 모든 사운드 요소가 있는지 확인 하려면 스테레오 및 mono 모바일 레코더를 사용 하 여 각 위치의 특정 지점에서 비동기 앰비언트 소리를 캡처 했습니다.To make sure we had all the sound elements we needed, we used stereo and mono mobile recorders to capture asynchronous, ambient sound at specific points of interest in each location. 이러한 기록을 통해 사운드 디자이너는 관심을 추가 하 고 사후 프로덕션 환경에서 방향을 향상 시킬 수 있습니다.These recordings give the sound designer clean content to add interest and improve directionality in post-production.

모든 캡처 요일은 많은 파일을 생성 합니다.Every capture day generates many files. 따라서 특정 위치 또는 카메라 샷에 해당 하는 파일을 추적 하는 시스템을 개발 하는 것이 중요 했습니다.So it was important to develop a system to track which files correspond to a particular location or camera shot. 기록 단위는 날짜 및 "사용" 번호를 사용 하 여 파일의 이름을 자동으로 설정 했습니다.Our recording unit was set up to automatically name files by date and "take" number. 각 날짜가 끝날 때 외부 드라이브에 파일을 백업 했습니다.We backed up files to external drives at the end of each day. 또한 오디오 녹음의 시작을 구두로 하는 것이 중요 하다는 것을 발견 했습니다.We also found it important to verbally slate the beginning of the audio recordings. 이러한 예방 조치를 통해 파일 이름 문제가 발생 하는 경우 콘텐츠의 컨텍스트를 쉽게 식별할 수 있습니다.This precaution allows easy contextual identification of the content in case file-name problems occur. 비디오와 오디오는 별도의 미디어로 기록 되 고 사후 프로덕션 중에 동기화 해야 하기 때문에 카메라 rig 캡처를 시각적으로 슬레이트도 중요 했습니다.It was also important to visually slate the camera rig capture, because the video and audio were recorded as separate media and had to be synchronized during post-production.

오디오 편집Editing the audio

캡처 후에 다시 스튜디오에서 방향 및 몰입 형 aural 환경을 조립 하는 첫 번째 단계는 캡처된 모든 오디오를 해당 위치에 대해 검토 하는 것입니다.Back at the studio after the capture trip, the first step in assembling a directional and immersive aural experience is to review all the captured audio for a location. 통합 중에 적용할 수 있는 가장 적합 한 하이라이트를 선택 하 고 확인 합니다.We pick the best takes and identify highlights that can be applied during integration. 그러면 오디오를 편집 하 고 정리 합니다.The audio is then edited and cleaned up. 예를 들어 두 번째 또는 여러 번 반복 되는 자동차 horn 폭발은 동일한 캡처 세션에서 더 조용한 주변 오디오로 바뀔 수 있습니다.For example, a car horn blast that lasts a second or so and repeats a few times might be replaced with quieter ambient audio from the same capture session.

특정 위치에 대 한 비디오 편집이 설정 되 면 사운드 디자이너에서 해당 오디오를 동기화 할 수 있습니다.After the video edit for a location is set, the sound designer can synchronize the corresponding audio. 이 시점에서 가장 적합 한 오디오 장면을 빌드하는 요소를 결정 하는 카메라-rig와 모바일 소리 캡처를 모두 평가 합니다.At this point, we assess both the camera-rig and mobile sound captures to decide which elements would build the best immersive audio scene. 모든 사운드 요소를 오디오 편집기에 넣고 빠른 선형 모의를 빌드하여 다양 한 혼합 아이디어를 시험해 볼 수 있습니다.We found it useful to put all the sound elements into an audio editor and build quick linear mock-ups to experiment with different mix ideas. 이 단계에서는 실제 HoloTour 장면을 빌드하는 데 시간이 소요 되는 경우에 대 한 더 나은 형태의 아이디어를 제공 했습니다.This step gave us better-formed ideas for when it came time to build the actual HoloTour scenes.

장면 어셈블Assembling the scene

3D 주변 장면을 빌드하기 위한 첫 번째 단계는 장면에서 다른 기능 및 대화형 사운드 요소를 지 원하는 일반적인 배경 주변 반복 소리의 침대를 만드는 것입니다.The first step to building a 3D ambient scene is to create a bed of general background ambient looping sounds that will support other features and interactive sound elements in a scene. 특정 장면의 디자인 기준에 따라 결정 된 대로 구현에 대 한 전체적인 접근 방법을 사용 합니다.We take a holistic approach to implementation as determined by the design criteria for any particular scene. 일부 장면은 동기화 된 카메라 캡처를 사용 하 여 인덱싱할 수 있습니다.Some scenes might index toward using the synchronized camera capture. "시네마" 분에는 불연속 배치 된 사운드, 대화형 요소 및 음악에 의존 하는 큐 레이트 접근 방법이 필요할 수 있습니다.More "cinematic" moments might require a curated approach that relies on discretely placed sounds, interactive elements, and music.

카메라 캡처 오디오를 인덱싱할 때 카메라의 방향 방향에 속하는지를 공간 사운드 사용 주변 오디오 송신기가 배치 되었습니다.When we indexed on the camera-capture audio, we placed spatial sound-enabled ambient audio emitters that corresponded to the directional orientation of the cameras. 북쪽 카메라 보기는 북쪽 마이크에서 오디오를 재생 하 고 다른 카디 날 방향에 대해서도 마찬가지입니다.The north camera view plays audio from the north microphone, and likewise for the other cardinal directions. 이러한 송신기는 세계에서 잠김을 의미 합니다. 즉, 사용자가 헤드를 켤 때 소리가 변합니다.These emitters are world-locked, which means the sound changes when users turn their heads. 이 기술은 해당 위치에서의 소리를 효과적으로 모델링 합니다.This technique effectively models the sound of standing at that location. 카메라에서 캡처된 오디오를 잘 혼합 하 여 사용 하는 Piazza Navona 또는 기능에 대해 이야기 합니다.Listen to Piazza Navona or The Pantheon for examples of scenes that use a good mix of camera-captured audio.

다른 방법으로 장면 주위에 배치 된 공간 음향 송신기를 사용 하 여 반복 스테레오 외계를 재생 하기도 합니다.In a different approach, we sometimes play looping stereo ambience with spatial sound emitters that are placed around the scene. 이러한 송신기는 임의 볼륨, 피치 및 트리거 빈도의 일회용 소리를 재생 합니다.These emitters play one-off sounds of randomized volume, pitch, and trigger frequency. 이 기법은 방향성이 향상 된 외계를 만듭니다.This technique creates ambience that has an enhanced sense of directionality. 예를 들어 Aguas에서 각 파노라마 사분면에는 지리 영역을 강조 표시 하지만 함께 사용 하 여 전체 몰입 형 외계을 만드는 특정 송신기가 있는 경우를 들 수 있습니다.In Aguas Alienates, for example, you can hear how each quadrant of the panorama has specific emitters that highlight specific areas of the geography but work together to create an overall immersive ambience.

팁과 요령Tips and tricks

HoloLens의 공간 음향 기능을 완벽 하 게 활용 하기 위해 방향을 강조 표시 하 고 집중 교육를 개선 하는 다른 방법이 있습니다.There are other ways to highlight directionality and improve immersion to make full use of the spatial sound capabilities of HoloLens. 여기에서 목록을 제공 했습니다.We've provided a list here. 다음에 HoloTour을 시도할 때 이러한 효과를 수신 합니다.Listen for these effects the next time that you try HoloTour.

  • 대상 찾기: 이러한 소리는 holographic 프레임의 특정 개체나 영역을 볼 때 트리거됩니다.Look targets: These sounds are triggered when you look at a specific object or area of the holographic frame. 예를 들어 로마의 Piazza Navona에서 카페를 확인 하 여 약간의 바쁜 식당 소리를 확인 합니다.For example, look toward the street-side café in Rome's Piazza Navona to subtly trigger busy-restaurant sounds.
  • 로컬 비전: HoloTour의 경험에는 holograms에 의해 포함 되는 둘러보기 가이드에서 특정 한 "비트"가 포함 되어 있어 주제를 자세히 살펴봅니다.Local vision: The journey though HoloTour contains certain "beats" where your tour guide, aided by holograms, explores a topic in-depth. 예를 들어, dissolves에 대 한 외관에서 oculus를 표시 하기 위해, reverberating 안에 3D 송신기로 배치 된 오디오는 사용자가 내부를 탐색 하도록 권장 합니다.For instance, as the façade of the Pantheon dissolves to reveal the oculus, reverberating audio that was placed as a 3D emitter from inside the Pantheon encourages the user to explore the interior.
  • 향상 된 방향: 많은 장면 내에서 여러 가지 방법으로 화면에 추가 하는 소리를 배치 했습니다.Enhanced directionality: Within many scenes, we placed sounds in various ways to add to directionality. 예를 들어, 장면의 소리는 사용자에 게 충분 한 별도의 송신기로 배치 되어 재생 공간을 중심으로 "sonic 시차"의 의미를 가질 수 있습니다.In the Pantheon scene, for example, the sound of the fountain was placed as a separate emitter close enough to the user that they could get a sense of "sonic parallax" as they walk around the play space. Salinas de (페루) 장면에서 개별 작은 스트림의 소리는 개별 송신기로 배치 되어 사용자에 게 해당 위치의 인증 된 소리를 둘러싼 더 몰입 형 주변 환경을 구축 합니다.In Peru's Salinas de Maras scene, the sounds of individual little streams were placed as separate emitters to build a more immersive ambient environment, surrounding the user with the authentic sounds of that location.
  • 스플라인 내보내기: 이러한 송신기는 연결 된 개체의 시각적 위치를 기준으로 3D 공간으로 이동 합니다.Spline emitter: These emitters move in 3D space based on the visual position of the object that they're attached to. 예를 들어 스플라인 송신기를 사용 하 여 방향성과 움직임의 고유한 의미를 제공 하는 Machu Con추의 학습입니다.An example is the train in Machu Picchu, where we used a spline emitter to give a distinct sense of directionality and movement.
  • 음악 및 SFX: 더 다양 한 스타일 또는 시네마 방식을 나타내는 HoloTour의 특정 측면은 음악 및 음향 효과를 사용 하 여 heighten 감정적 영향을 줍니다.Music and SFX: Certain aspects of HoloTour that represent a more stylized or cinematic approach use music and sound effects to heighten emotional impact. 예를 들어 로마 둘러보기의 끝에 있는 whooshes 및 stingers와 같은 특수 효과를 사용 하 여 장면에 표시 되는 레이블의 효과를 강화할 수 있습니다.For example, the gladiator battle at the end of the Rome tour uses special effects like whooshes and stingers to strengthen the effect of labels that appear in the scenes.

추가 정보See also