HoloTour 空間設計のケース スタディCase study - Spatial sound design for HoloTour

Microsoft HoloLens の本当に魅力的な 3D バーチャル ツアーを作成するには、パノラマ ビデオおよび holographic 風景は、数式の一部に過ぎません。To create a truly immersive 3D virtual tour for Microsoft HoloLens, the panoramic videos and holographic scenery are only part of the formula. Jason Syltebo ではサウンド方法について説明するオーディオ デザイナーがキャプチャされ、HoloTour 内の場所のそれぞれで実際にいる気分に処理されます。Audio designer Jason Syltebo talks about how sound was captured and processed to make you feel like you're actually in each of the locations in HoloTour.

技術者The tech

美しい画像および HoloTour 『 holographic のシーンは、かぎり複合現実エクスペリエンスを作成する 1 つだけの一部です。The beautiful imagery and holographic scenes you see in HoloTour are only one part of creating a believable mixed reality experience. ユーザーの前にホログラムが視覚的にのみ表示されます、空間サウンドHoloLens の機能により、すべての方向に由来するオーディオより完全な感覚エクスペリエンスをユーザーに提供します。While holograms can only appear visually in front of a user, the spatial sound feature of HoloLens allows audio to come from all directions, which gives the user a more complete sensory experience.

空間のサウンドを使用して、またはユーザーがその領域内を参照するように複数のホログラムがあることに、ユーザーが有効にする方向を示すオーディオ キューを提供できます。Spatial sound allows us to give audio cues to indicate a direction in which the user should turn, or to let the user know there are more holograms for them to see within their space. 方向と距離ホログラムはサウンドがそのオブジェクトから直接送信されるかのように見えますが、ユーザーからの継続的に更新を直接ホログラムにサウンドを添付することもできます。We can also attach a sound directly to a hologram and continually update the direction and distance the hologram is from a user to make it seem as if the sound is coming directly from that object.

HoloTour で特定の場所の sonic 重要なポイントを表示するビデオと同期して、360 度アンビエント環境を作成する、HoloLens のサウンドの空間機能を活用するために考えました。With HoloTour, we wanted to take advantage of the spatial sound capabilities of HoloLens to create a 360-degree ambient environment, synchronized with the video to reveal the sonic highlights of specific locations.

しくみBehind the scenes

2 つの場所の HoloTour エクスペリエンスを作成しました。ローマ マチュピチュ.We created HoloTour experiences of two different locations: Rome and Machu Picchu. 本物であり、説得力のあると思われるこれらのツアーを作成するには、一般的なサウンドを使用しないようにして代わりに場所映画された場所から直接オーディオをキャプチャする考えました。To make these tours feel authentic and compelling we wanted to avoid using generic sounds and instead capture audio directly from the locations where we were filming.

オーディオのキャプチャCapturing the audio

HoloTour のビジュアルのコンテンツをキャプチャする方法についてのケース スタディは、カメラのリモート テスト マシン群のカスタム デザインについて説明しました。In our case study about capturing the visual content for HoloTour, we talked about the custom design of our camera rig. 3D 印刷の住宅費に含まれている 14 の GoPro カメラで構成されている、三脚の特定の大きさに設計されています。It consisted of 14 GoPro cameras contained in a 3D-printed housing, designed to the specific dimensions of the tripod. このリモート テスト マシン群のオーディオをキャプチャするには、カメラでは、三脚の下部に座って compact 4 チャネル記録単位にフィードの下にクアッド マイク配列を追加しました。To capture audio from this rig, we added a quad-microphone array beneath the cameras, which fed into a compact 4-channel recording unit that sat at the base of the tripod. 選択したマイク、実行するだけでなく、非常に小さなフット プリント、カメラの視野がないようにする必要があります。We chose microphones that not only performed well, but which had a very small footprint, so as to not occlude the view of the camera.

カスタム カメラとマイク リモート テスト マシン群Custom camera and microphone rig
カスタム カメラとマイク リモート テスト マシン群Custom camera and microphone rig

このセットアップでは、空間のサウンドは、後で同期する 360 度のビデオでしたを使用して 3D 聴覚的なパノラマを再作成するのに十分な情報を提供することで、カメラの正確な場所から 4 方向のサウンドをキャプチャします。This setup captured sound in four directions from the precise location of our camera, giving us enough information to re-create a 3D aural panorama using spatial sound, which we could later synchronize to the 360-degree video.

カメラの配列のオーディオに関する課題の 1 つは、キャプチャ時に記録内容が制御しています。One of the challenges with the camera array audio is that you are at the mercy of what is recorded at the time of capture. ビデオのキャプチャが正常な場合でもサウンドのキャプチャは問題のあるカメラからのサウンド sirens、飛行機、強風などが原因になります。Even if the video capture is good, the sound capture can become problematic due to off-camera sounds such as sirens, airplanes, or high winds. ようにする必要があるすべての要素には、一連のモバイルの記録をステレオと mono のユニットを使用して、各場所で関心のある特定の時点で非同期のアンビエント要素を取得しました。To assure we had all the elements we need, we used a series of stereo and mono mobile recording units to get asynchronous, ambient elements at specific points of interest in each location. このキャプチャは、サウンドのデザイナーには関心を作って方向性をさらに追加後の運用環境で使用できるクリーンで使用可能なコンテンツをシーク機能を提供するので重要です。This capture is important as it gives the sound designer the ability to seek out clean and usable content that can be used in post-production to craft interest and add further directionality.

指定されたキャプチャの日では、多数のファイルを生成します。Any given capture day would generate a large number of files. 追跡するために特定の場所またはカメラ ショット対応、ファイル システムを開発する重要でした。It was important to develop a system to track which files correspond to a particular location or camera shot. 日付で弊社の記録の単位が自動名前のファイルをセットアップし、take の数値と私たちはこれらをバックアップ、1 日の最後に外部ドライブにします。Our recording unit was set up to auto-name files by date and take number and we would back these up at the end of the day to external drives. 少なくとも、スレート口頭でオーディオ録音の開始が重要なは、ファイル名が問題になる必要があります、コンテンツのコンテキスト id を簡単にします。At the very least, verbally slating the beginning of audio recordings was important as this allows easy contextual identification of the content should filenames become a problem. ビデオとオーディオが別のメディアとして記録し、post 中に同期するために必要なカメラ リモート テスト マシン群のキャプチャを視覚的にスレートに重要でした。It was also important for us to visually slate the camera rig capture as the video and audio were recorded as separate media and needed to be synchronized during post.

オーディオの編集Editing the audio

キャプチャ トリップした後、studio に戻り、方向、没入型の聴覚的なエクスペリエンスをアセンブルする最初の手順は、すべての場所、最善の受け取りを取り出すと、独創的な時に適用できる主なトピックを識別するオーディオ キャプチャの確認統合します。Back at the studio after the capture trip, the first step in assembling a directional and immersive aural experience is to review all of the audio capture for a location, picking out the best takes and identifying any highlights that could be applied creatively during integration. オーディオを編集し、クリーンアップはします。The audio is then edited and cleaned up. など大きな車警報継続期間が 1 秒と、数回の繰り返しを交換およびと同じキャプチャからの通知の停止、アンビエント オーディオのセクションを使用して合成します。For example, a loud car horn lasting a second or so and repeating a few times, can be replaced and stitched in with sections of quiet, ambient audio from the same capture.

場所のビデオ編集が確立されると、サウンドのデザイナーは、対応するオーディオを同期できます。Once the video edit for a location has been established the sound designer can synchronize the corresponding audio. この時点でカメラのリモート テスト マシン群のキャプチャとどのような要素、または組み合わせ、没入型のオーディオ シーンを構築する動作を決定するモバイルのキャプチャの両方に取り組みました。At this point we worked with both camera rig capture and mobile capture to decide what elements, or combination thereof, will work to build an immersive audio scene. 見つかりました便利な技法は、サウンドのすべての要素をオーディオ エディターとビルド クイック線形モック ups をさまざまな組み合わせのアイデアを実験に追加するがあります。A technique we found useful was to add all the sound elements into an audio editor and build quick linear mock ups to experiment with different mix ideas. これにより、形式でアイデアをより実際 HoloTour シーンを構築するとき。This gave us better formed ideas when it came time to build the actual HoloTour scenes.

シーンのアセンブルAssembling the scene

アンビエントの 3D シーンを構築する最初の手順では、シーン内の他の機能とサウンドの対話型の要素をサポートする一般的なバック グラウンド アンビエント ループ サウンドのベッドを作成します。The first step to building a 3D ambient scene is to create a bed of general background ambient looping sounds that will support other features and interactive sound elements in a scene. そのため、特定のニーズと、特定のシーンの設計基準によって決定別の実装テクニックに対する包括的なアプローチをしました。In doing so, we took a holistic approach towards different implementation techniques determined by the specific needs and design criteria of any particular scene. いくつかのシーンは、HoloTour より映画のような瞬間のサウンド、対話型の要素と音楽とサウンド効果がより個別を使用するより選別された方法に配置が必要ですが、同期のカメラ キャプチャを使用したインデックス可能性があります。Some scenes might index towards using the synchronized camera capture, whereas others might require a more curated approach that uses more discretely placed sounds, interactive elements and music and sound effects for the more cinematic moments in HoloTour.

空間サウンドが有効なアンビエント オーディオ エミッタ north カメラのビューを北マイクからオーディオ再生されるように、カメラの向きの方向の座標に対応する配置しましたカメラ キャプチャ オーディオの使用にインデックスを付ける場合と同様に。その他の基本的な方向です。When indexing on the use of the camera capture audio, we placed spatial sound-enabled ambient audio emitters corresponding to the directional coordinates of the camera orientation such that the north camera view plays audio from the north microphone and likewise for the other cardinal directions. これらの発信機にはその場所での継続のサウンドを効率的にモデリングつまりユーザーは、これらの発信機に対する自分の頭に自由を有効にして、サウンドが変わります world ロックです。These emitters are world-locked, meaning the user can freely turn their head in relation to these emitters and the sound will change accordingly, effectively modeling the sound of standing at that location. カメラ キャプチャされたオーディオの適切な組み合わせを使用して、シーンの例については、Piazza Navona または Pantheon をリッスンします。Listen to Piazza Navona or The Pantheon for examples of scenes that use a good mix of camera captured audio.

別のアプローチでは、ボリューム、ピッチ、およびトリガーの頻度の観点からはランダム化を 1 回限りのサウンドの再生、シーンの周囲に配置する空間のサウンド エミッタを組み合わせてループ ステレオ アンビエンスの再生に関与します。A different approach involved playing a looping stereo ambience in conjunction with spatial sound emitters placed around the scene playing one-off sounds that are randomized in terms of volume, pitch and trigger frequency. これには、方向性の強化、理解、アンビエンスが作成されます。This creates an ambience with an enhanced sense of directionality. Aguas Calientes でなどをリッスンできる方法パノラマの各作業領域が特定の発信機を意図的に、geography が全体的な没入型のアンビエンスを作成するための作業の特定の領域を強調します。In Aguas Calientes, for example, you can listen to how each quadrant of the panorama has specific emitters that intentionally highlight specific areas of the geography, but work together to create an overall immersive ambience.

ヒントとテクニックTips and tricks

一緒に配置しているときに、シーンのオーディオ、メソッドがあるいくつか追加 HoloLens サウンドの空間機能の使用をさらに方向性と immersion、強調表示に使用できます。When you're putting together audio for a scene, there are some additional methods you can use to further highlight directionality and immersion, making full use of the spatial sound capabilities of HoloLens. 以下のいくつか用意されています: HoloTour しようとする、次回そのリッスンします。We've provided a list of some below—listen for them the next time you try HoloTour.

  • ターゲットの検索:これらは、特定のオブジェクトまたは holographic のフレームの領域で検索する場合にのみトリガーするサウンドです。Look Targets: These are sounds that trigger only when you are looking at a specific object or area of the holographic frame. たとえば、ローマの Piazza Navona で street 側カフェの方向に検索しても、ビジー状態のレストランのサウンドにはトリガー微妙です。For example, looking in the direction of the street-side café in Rome's Piazza Navona will subtly trigger the sounds of a busy restaurant.
  • ローカルのビジョン:旅は、HoloTour ツアーのガイドで、特定の beats 含まれていますが、ホログラムによって支援されています学びます詳細なトピック。Local Vision: The journey though HoloTour contains certain beats where your tour guide, aided by holograms, will explore a topic in-depth. たとえば、ように、Pantheon のファサードを表示、oculus ディゾルブ、reverberating オーディオは、Pantheon の内側から 3D エミッタ内部モデルを調べるためのユーザーを採用するように配置されます。For instance, as the façade of the Pantheon dissolves to reveal the oculus, reverberating audio placed as a 3D emitter from the inside of the Pantheon encourages the user to explore the interior model.
  • 方向性を強化:多くのシーン内で、方向に追加するさまざまな方法でサウンドを配置します。Enhanced directionality: Within many scenes, we placed sounds in various ways to add to the directionality. Pantheon のシーンでなど、噴水のサウンドが配置 'sonic 視差' のプレイ領域を歩いていたアクセスできるようにユーザーに十分な独立したエミッタ閉じます。In the Pantheon scene, for example, the sound of the fountain was placed as a separate emitter close enough to the user so that they could get a sense of ‘sonic parallax’ as they walked around the play space. ペルーの Salinas de Maras シーンでは、ほとんどのストリームの一部の個々 のパースペクティブは、その場所の音声を認証でユーザーを囲む没入感が向上のアンビエント環境を構築する個別の発信機として配置されていた。In Peru's Salinas de Maras scene, the individual perspective of some of the little streams were placed as separate emitters to build a more immersive ambient environment, surrounding the user with the authentic sounds of that location.
  • スプライン エミッタ:この特別な空間サウンド エミッタは、3 D 空間にアタッチされているオブジェクトのビジュアルの位置を基準に移動します。Spline emitter: This special spatial sound emitter moves in 3D space relative to the visual position of the object it's attached to. この例では、方向性と移動の個別感を与えるのスプライン エミッタ使いましたマチュピチュでトレーニングをしました。An example of this was the train in Machu Picchu, where we used a spline emitter to give a distinct sense of directionality and movement.
  • 音楽と SFX:その図案化された場合、または映画のようなアプローチを表す HoloTour の特定の側面は、感情的な影響を強化するために、音楽とサウンド効果を使用します。Music and SFX: Certain aspects of HoloTour that represent a more stylized or cinematic approach use music and sound effects to heighten the emotional impact. ローマ ツアーの最後に gladiator 戦い、whooshes または stingers など、特殊効果は、シーンに表示されるラベルの効果を強化するために使用されていました。In the gladiator battle at the end of the Rome tour, special effects like whooshes or stingers were used to help strengthen the effect of labels appearing in scenes.

執筆者紹介About the author

Picture of Jason Syltebo Jason SylteboJason Syltebo
オーディオのデザイナー @MicrosoftAudio Designer @Microsoft

関連項目See also