ケーススタディ-HoloTour の空間サウンド設計Case study - Spatial sound design for HoloTour

Microsoft HoloLens 向けの真のイマーシブ3D 仮想ツアーを作成するために、パノラマビデオと holographic シーナリーは式の一部にすぎません。To create a truly immersive 3D virtual tour for Microsoft HoloLens, the panoramic videos and holographic scenery are only part of the formula. オーディオデザイナーの Jason Syltebo は、HoloTour の各場所で実際に聞こえるように、サウンドがどのようにキャプチャおよび処理されたかについて話しています。Audio designer Jason Syltebo talks about how sound was captured and processed to make you feel like you're actually in each of the locations in HoloTour.

技術The tech

HoloTour に表示される美しい画像と holographic シーンは、believable mixed reality エクスペリエンスを作成する唯一の部分です。The beautiful imagery and holographic scenes you see in HoloTour are only one part of creating a believable mixed reality experience. ホログラムはユーザーの手前にのみ表示されますが、HoloLens の空間サウンド機能を使用すると、すべての方向からオーディオを受け取ることができるため、ユーザーはより完全な sensory エクスペリエンスを得ることができます。While holograms can only appear visually in front of a user, the spatial sound feature of HoloLens allows audio to come from all directions, which gives the user a more complete sensory experience.

空間サウンドを使用すると、オーディオ合図に対して、ユーザーが有効にする方向を示すことができます。また、ユーザーがスペース内に表示するホログラムが増えることをユーザーに知らせることができます。Spatial sound allows us to give audio cues to indicate a direction in which the user should turn, or to let the user know there are more holograms for them to see within their space. また、サウンドをホログラムに直接接続し、そのオブジェクトから直接サウンドが送られているように見えるように、ホログラムがユーザーからの方向と距離を継続的に更新することもできます。We can also attach a sound directly to a hologram and continually update the direction and distance the hologram is from a user to make it seem as if the sound is coming directly from that object.

HoloTour では、HoloLens の空間サウンド機能を利用して、360度の環境を作成し、ビデオと同期して特定の場所の sonic のハイライトを表示するようにしました。With HoloTour, we wanted to take advantage of the spatial sound capabilities of HoloLens to create a 360-degree ambient environment, synchronized with the video to reveal the sonic highlights of specific locations.

しくみBehind the scenes

2つの異なる場所の HoloTour エクスペリエンスを作成しました。ローマと Machu の絵文字。We created HoloTour experiences of two different locations: Rome and Machu Picchu. これらのツアーが本物で説得力のあるものになるように、一般的なサウンドを使用しないようにし、撮影していた場所から直接オーディオを取り込むことを望んでいました。To make these tours feel authentic and compelling we wanted to avoid using generic sounds and instead capture audio directly from the locations where we were filming.

オーディオをキャプチャするCapturing the audio

HoloTour のビジュアルコンテンツのキャプチャに関するこのケーススタディでは、カメラのリモートテストマシンのカスタム設計について説明します。In our case study about capturing the visual content for HoloTour, we talked about the custom design of our camera rig. 3D 印刷ハウジングに含まれる14個の GoPro カメラで、三脚の特定の寸法に合わせて設計されています。It consisted of 14 GoPro cameras contained in a 3D-printed housing, designed to the specific dimensions of the tripod. このリモートテストマシンからオーディオを取り込むために、カメラの下にクワッドマイクロフォンアレイを追加しました。これは、三脚のベースにあるコンパクトな4チャンネル記録単位になります。To capture audio from this rig, we added a quad-microphone array beneath the cameras, which fed into a compact 4-channel recording unit that sat at the base of the tripod. 私たちは、カメラのビューを occlude ないように、非常に小さなフットプリントを使用しているだけではなく、非常に小さいマイクを選択しました。We chose microphones that not only performed well, but which had a very small footprint, so as to not occlude the view of the camera.

カスタムカメラとマイクのリモートテストマシン群Custom camera and microphone rig
カスタムカメラとマイクのリモートテストマシン群Custom camera and microphone rig

このセットアップでは、カメラの正確な位置から4つの方向にサウンドがキャプチャされています。これにより、空間サウンドを使用して 3D aural パノラマを再作成するための十分な情報が得られます。これは、後で360度のビデオに同期することができます。This setup captured sound in four directions from the precise location of our camera, giving us enough information to re-create a 3D aural panorama using spatial sound, which we could later synchronize to the 360-degree video.

カメラ配列オーディオに関する問題の1つは、キャプチャ時に記録される内容を特定にすることです。One of the challenges with the camera array audio is that you are at the mercy of what is recorded at the time of capture. ビデオキャプチャが適切な場合でも、sirens、航空機、高風などのカメラ以外のサウンドが原因で、サウンドキャプチャが問題になる可能性があります。Even if the video capture is good, the sound capture can become problematic due to off-camera sounds such as sirens, airplanes, or high winds. 必要なすべての要素があることを保証するために、一連のステレオおよび mono モバイル記録単位を使用して、各場所の特定のポイントで非同期のアンビエント要素を取得しました。To assure we had all the elements we need, we used a series of stereo and mono mobile recording units to get asynchronous, ambient elements at specific points of interest in each location. このキャプチャは、実稼働後に関心を持ち、さらに方向性を追加するために、サウンドデザイナーがクリーンで使用可能なコンテンツを検索できるようにするために重要です。This capture is important as it gives the sound designer the ability to seek out clean and usable content that can be used in post-production to craft interest and add further directionality.

任意のキャプチャ日を指定すると、多数のファイルが生成されます。Any given capture day would generate a large number of files. 特定の場所またはカメラショットに対応するファイルを追跡するシステムを開発することが重要でした。It was important to develop a system to track which files correspond to a particular location or camera shot. 記録単位は、日付によってファイル名を自動で設定し、番号を取得するように設定されており、その日の最後に外部ドライブにバックアップされます。Our recording unit was set up to auto-name files by date and take number and we would back these up at the end of the day to external drives. 少なくとも、オーディオ録音の開始を口頭で他者することは重要でした。これにより、ファイル名が問題になるようなコンテキストでコンテンツを簡単に識別できます。At the very least, verbally slating the beginning of audio recordings was important as this allows easy contextual identification of the content should filenames become a problem. また、ビデオとオーディオが個別のメディアとして記録され、post 中に同期する必要があるため、カメラのテストマシンのキャプチャを視覚的にスレートさせることも重要でした。It was also important for us to visually slate the camera rig capture as the video and audio were recorded as separate media and needed to be synchronized during post.

オーディオの編集Editing the audio

キャプチャトリップ後の studio では、方向性のあるイマーシブ aural エクスペリエンスを組み立てるための最初の手順は、場所のすべてのオーディオキャプチャを確認し、最適な方法を選択して、その中で独創的に適用できるハイライトを特定することです。結合.Back at the studio after the capture trip, the first step in assembling a directional and immersive aural experience is to review all of the audio capture for a location, picking out the best takes and identifying any highlights that could be applied creatively during integration. その後、オーディオを編集してクリーンアップします。The audio is then edited and cleaned up. たとえば、大きな車の光が1回またはそれ以上繰り返され、数回繰り返される場合、合成は、同じキャプチャからの静的なアンビエントオーディオのセクションに置き換えることができます。For example, a loud car horn lasting a second or so and repeating a few times, can be replaced and stitched in with sections of quiet, ambient audio from the same capture.

ある場所のビデオの編集が確立されると、サウンドデザイナーは対応するオーディオを同期できます。Once the video edit for a location has been established the sound designer can synchronize the corresponding audio. この時点で、カメラのマシンのキャプチャとモバイルキャプチャの両方を使用して、イマーシブオーディオシーンの作成に使用する要素 (またはその組み合わせ) を決定しました。At this point we worked with both camera rig capture and mobile capture to decide what elements, or combination thereof, will work to build an immersive audio scene. 役に立つのは、すべてのサウンド要素をオーディオエディターに追加し、クイック線形モックアップを構築してさまざまなミックスアイデアを試す方法でした。A technique we found useful was to add all the sound elements into an audio editor and build quick linear mock ups to experiment with different mix ideas. これにより、実際の HoloTour シーンを構築する時間がきたときに、より良い形式のアイデアが得られました。This gave us better formed ideas when it came time to build the actual HoloTour scenes.

シーンのアセンブルAssembling the scene

3D アンビエントシーンを構築するための最初の手順は、シーン内の他の機能や対話型サウンド要素をサポートする、一般的なバックグラウンドアンビエントループサウンドのベッドを作成することです。The first step to building a 3D ambient scene is to create a bed of general background ambient looping sounds that will support other features and interactive sound elements in a scene. このようにして、特定のシーンの特定のニーズと設計基準によって決定されるさまざまな実装手法に対する包括的なアプローチを採用しました。In doing so, we took a holistic approach towards different implementation techniques determined by the specific needs and design criteria of any particular scene. 一部のシーンでは、同期されたカメラのキャプチャを使用してインデックスを作成することがありますが、HoloTour でより多くの個別のサウンド、対話型の要素、音楽、サウンド効果を使用する curated アプローチが必要になる場合もあります。Some scenes might index towards using the synchronized camera capture, whereas others might require a more curated approach that uses more discretely placed sounds, interactive elements and music and sound effects for the more cinematic moments in HoloTour.

カメラキャプチャオーディオを使用してインデックスを作成するときに、カメラの向きの方向座標に対応する、空間サウンドが有効なアンビエントオーディオ発信器を配置しました。これにより、北のカメラビューは、北のマイクからオーディオを再生します。その他のカーディナル方向。When indexing on the use of the camera capture audio, we placed spatial sound-enabled ambient audio emitters corresponding to the directional coordinates of the camera orientation such that the north camera view plays audio from the north microphone and likewise for the other cardinal directions. これらの発信器は、世界中でロックされています。つまり、ユーザーはこれらの発信器との関係を自由に変えることができ、サウンドはそれに応じて変化し、その場所での動きを効果的にモデル化することができます。These emitters are world-locked, meaning the user can freely turn their head in relation to these emitters and the sound will change accordingly, effectively modeling the sound of standing at that location. Piazza Navona または Pantheon に耳を傾けて、カメラでキャプチャしたオーディオの優れた組み合わせを使用するシーンの例を紹介します。Listen to Piazza Navona or The Pantheon for examples of scenes that use a good mix of camera captured audio.

さまざまなアプローチでは、ボリューム、ピッチ、およびトリガーの頻度でランダム化された1回限りのサウンドを再生しているシーンの周囲に、発信器のステレオアンビエントを使用します。A different approach involved playing a looping stereo ambience in conjunction with spatial sound emitters placed around the scene playing one-off sounds that are randomized in terms of volume, pitch and trigger frequency. これにより、方向性を強化したアンビエントが作成されます。This creates an ambience with an enhanced sense of directionality. たとえば、Aguas Calientes では、パノラマの各クアドラントに特定の発信器があるかどうかを聞いて、geography の特定の領域を意図的に強調表示しながら、連携して全体的なイマーシブアンビエントを作成することができます。In Aguas Calientes, for example, you can listen to how each quadrant of the panorama has specific emitters that intentionally highlight specific areas of the geography, but work together to create an overall immersive ambience.

ヒントとテクニックTips and tricks

シーンにオーディオをまとめるときは、他にもいくつかの方法で方向性と immersion を強調表示し、HoloLens の空間サウンド機能を最大限に活用することができます。When you're putting together audio for a scene, there are some additional methods you can use to further highlight directionality and immersion, making full use of the spatial sound capabilities of HoloLens. 以下の一覧が用意されています。次に HoloTour を試すときにリッスンします。We've provided a list of some below—listen for them the next time you try HoloTour.

  • ターゲットの検索:これらは、holographic フレームの特定のオブジェクトまたは領域を見ているときにのみトリガーされるサウンドです。Look Targets: These are sounds that trigger only when you are looking at a specific object or area of the holographic frame. たとえば、ローマの Piazza Navona でのストリートのカフェの方向を調べると、忙しいレストランの音が微妙にトリガーされます。For example, looking in the direction of the street-side café in Rome's Piazza Navona will subtly trigger the sounds of a busy restaurant.
  • ローカルビジョン:HoloTour の旅には、ホログラムによって支援されるツアーガイドが、トピックの詳細を調べる特定の拍が含まれています。Local Vision: The journey though HoloTour contains certain beats where your tour guide, aided by holograms, will explore a topic in-depth. たとえば、Pantheon ディゾルブのファサードは oculus を明らかにするため、Pantheon の内部から3D エミッタとして配置された reverberating オーディオは、ユーザーが内部モデルを探索することを奨励します。For instance, as the façade of the Pantheon dissolves to reveal the oculus, reverberating audio placed as a 3D emitter from the inside of the Pantheon encourages the user to explore the interior model.
  • 強化された方向性:多くの場面では、さまざまな方法でサウンドを置き、方向性を追加していました。Enhanced directionality: Within many scenes, we placed sounds in various ways to add to the directionality. Pantheon シーンでは、たとえば、ふんすいの音は、ユーザーにとって十分に近い独立したエミッタとして配置されています。これは、再生スペースの周りに見られる "音波視差" という意味を持つことができるようにするためです。In the Pantheon scene, for example, the sound of the fountain was placed as a separate emitter close enough to the user so that they could get a sense of ‘sonic parallax’ as they walked around the play space. ペルー氏は、"シーンとしての Salinas de" として、一部の小さなストリームの個々の観点が個別の発信器として配置されています。これは、ユーザーがその場所の本物のサウンドを使用して、よりイマーシブな環境を構築するためのものです。In Peru's Salinas de Maras scene, the individual perspective of some of the little streams were placed as separate emitters to build a more immersive ambient environment, surrounding the user with the authentic sounds of that location.
  • スプラインエミッタ:この特殊な空間サウンドエミッタは、アタッチされているオブジェクトの視覚的な位置に対して相対的に3D 空間で移動します。Spline emitter: This special spatial sound emitter moves in 3D space relative to the visual position of the object it's attached to. この例として、スプラインエミッタを使用して、方向性と移動を明確に示すためにスプラインエミッタを使用した、Machu の電車でのトレーニングがありました。An example of this was the train in Machu Picchu, where we used a spline emitter to give a distinct sense of directionality and movement.
  • 音楽と SFX:より複雑なアプローチを表す HoloTour の特定の側面では、音楽とサウンド効果を使用して、感情的な影響を面白くしています。Music and SFX: Certain aspects of HoloTour that represent a more stylized or cinematic approach use music and sound effects to heighten the emotional impact. ローマツアーの終わりにある gladiator の戦いでは、whooshes や stingers などの特殊な効果を使用して、ラベルがバックグラウンドで表示される効果を高めることができました。In the gladiator battle at the end of the Rome tour, special effects like whooshes or stingers were used to help strengthen the effect of labels appearing in scenes.

作成者についてAbout the author

Picture of Jason Syltebo Jason SylteboJason Syltebo
オーディオデザイナー@MicrosoftAudio Designer @Microsoft

関連項目See also