導入事例 - RoboRaid でサウンドの空間の使用Case study - Using spatial sound in RoboRaid

Charles Sinex、オーディオ、Microsoft HoloLens エクスペリエンス チームのリードでのオーディオを作成するときに発生した彼独自の課題について説明しますRoboRaid、複合現実のファースト パーソン シューティング ゲームです。Charles Sinex, audio lead on the Microsoft HoloLens Experience Team, talks about the unique challenges he encountered when creating audio for RoboRaid, a mixed reality first-person shooter.

技術者The tech

空間サウンドユーザーが何が起こって周囲にオブジェクトが視界の外にある場合を認識する方法を提供する、Microsoft HoloLens の最も魅力的な機能の 1 つです。Spatial sound is one of the most exciting features of Microsoft HoloLens, providing a way for users to perceive what's going on around them when objects are out of the line of sight.

RoboRaid、空間のサウンドの最も明白で効果的な使用は、アラート、ユーザーの周辺視野の外部で実行される操作をプレーヤーには。In RoboRaid, the most obvious and effective use of spatial sound is to alert the player to something happening outside of the user's peripheral vision. たとえば、Breacher が、部屋にスキャンした壁のいずれかから入力できますが、見逃す可能性がありますが入る場所をしない直面している場合。For example, the Breacher can enter from any of the scanned walls in the room, but if you're not facing the location where it's entering, you might miss it. この侵入を警告するためには、停止を迅速に行動する必要があることを通知する、Breacher が入るから送られてくるオーディオの個別のビットをご紹介します。To alert you to this invasion, you'll hear a distinct bit of audio coming from where the Breacher is entering, which lets you know that you need to act quickly to stop it.

しくみBehind the scenes

HoloLens のアプリの空間のサウンドを作成するプロセスには、非常に新しいかつ一意と頭をかきむしりに問題が発生したときの多くを過去のプロジェクト参照に使用するが不足している可能性があります。The process of creating spatial sound for HoloLens apps is so new and unique and the lack of past projects to use for reference can lead to a lot of head scratching when you run into a problem. うまくいけば、オーディオの課題のこれらの例直面 RoboRaid を作成する際に役立つように、独自のアプリのオーディオを作成するときにします。Hopefully, these examples of the audio challenges we faced while making RoboRaid will help you as you create audio for your own apps.

CPU の負荷を考慮してください。Be mindful of taxing the CPU

CPU の空間のサウンドが求められます。Spatial sound can be demanding on the CPU. RoboRaid のようなエクスペリエンスをビジー状態空間サウンドを 任意の時点で 8 個のインスタンスを保持するために重要でした。For a busy experience like RoboRaid it was crucial to keep the instances of spatial sound to under eight at any given time. ほとんどの場合、上限に達した後に発生したすべてのインスタンスが終了するためにさまざまなオーディオ イベントのインスタンスの制限を設定するだけでした。For the most part, it was as easy as setting the limit of instances of different audio events so that any instances that happen after the limit is reached are killed. たとえば、ドローンが生成するときの鳴き声は特定の時点は 3 つのインスタンスに制限されます。For example, when drones spawn, their screams are limited to three instances at any given time. のみ 4 つのドローンを一度に起動できます、ことを検討して 3 つの鳴き声たくさん多く、発音の似たオーディオ イベント、脳の追跡できるを一切であるためです。Considering only about four drones can spawn at once, three screams are plenty since there’s no way your brain can keep track of that many similar-sounding audio events. これは敵の爆発や敵がシュートする準備など、空間のサウンド イベントのリソースを解放します。This freed up resources for other spatial sound events, like enemy explosions or enemies preparing to shoot.

成功した覆いを報いるRewarding a successful dodge

Dodging 整備士は RoboRaid のゲームプレイの最も重要な側面と、HoloLens のエクスペリエンスに本当に固有と考えたものもです。The dodging mechanic is one of the most important aspects of gameplay in RoboRaid, and also something that we felt was truly unique to the HoloLens experience. 成功した覆い焼きされかったそのため、プレーヤーに非常に大きな価値です。As such, we wanted to make successful dodges very rewarding to the player. 「ぱらぱら化」、開発の早い段階で非常に魅力的なサウンド、Doppler をしました。We got the Doppler "whizz-by" to sound compelling fairly early on in the development. 私の計画がループを使用して、リアルタイムで操作するのには最初に、ボリューム、ピッチ、およびフィルターを使用します。Initially, my plan was to use a loop and manipulate it in real-time using volume, pitch, and filter. この実装になることが非常に精巧な実際にこれを作成するリソースをコミットする前に資産を使用して低コストのプロトタイプを作成したのでドップラー効果組み込まれた方法を確認することと感じた *。The implementation for this was going to be very elaborate, so before committing resources to actually build this we created a cheap prototype using an asset with the Doppler effect baked in just to find out how it felt*. 優秀な開発は、このぱらぱらによって資産が再生の光線はプレイヤーの ear によって渡されますが、結果が本当にすばらしいと感じて前に、正確に 0.7 秒ようにが作成されました!Our talented dev made it so that this whizz-by asset would play back exactly 0.7 seconds before the projectile will have passed by the player’s ear and the results felt really amazing! 当然ですより複雑なソリューションを ditched し、プロトタイプを実装します。Needless to say, we ditched the more complex solution and implemented the prototype.

* * (ドップラー効果が組み込まれているとオーディオの資産を作成する方法についてが希望される場合をチェック アウト Charles Deenan というサウンドのデザイナーがアーティクル2 分で 100 Whooshes) *。**(If you'd like more information about creating an audio asset with the Doppler effect built in, check out an article by sound designer Charles Deenan called 100 Whooshes in 2 Minutes.) *
報酬を満足ぱらぱらで音でプレーヤーの敵の光線を正常に回避します。Successfully dodging an enemy's projectile rewards the player with a satisfying whizz-by sound.

無効なサウンドとの決別Ditching ineffective sounds

当初、敵の光線に覆いを焼き正常がしましたが、これをいくつかの理由見限ることにしました、それらの爆発のプレーヤーの背後にあるサウンドを再生する必要がある考えました。Originally, we had wanted to play an explosion sound behind the player once they’ve successfully dodged the enemy projectile, but we decided to ditch this for several reasons. 最初に、効果、覆いを使いました whizz で SFX を感じませんでした。First, it didn’t feel as effective as the whizz-by SFX we used for the dodge. までの光線ヒットするの背後にある壁、別のものでは非常に多くマスク サウンドをゲームの発生は。By the time the projectile hits a wall behind you, something else would have happened in the game that would pretty much mask that sound. 次にの光線ヒットしたら、床、壁の代わりに再生する展開を取得できなかったため、現場での競合がありませんでした。Secondly, we didn’t have collision on the floor, so we couldn’t get the explosion to play when the projectile hit the floor instead of the walls. 最後に、サウンドの空間の CPU コストが発生しました。And finally, there was the CPU cost of spatial sound. (壁の内側でクロールできるもの) Elite Scorpion 敵がシュートする 8 つの弾丸を特別な攻撃していますThe Elite Scorpion enemy (one that can crawl inside the wall) has a special attack that shoots about eight projectiles. ミックスに大きな混乱を構成するが、だけでなく、恐ろしい割れ難しすぎるの CPU に達することがあるためにも導入されました。Not only did that make a huge mess in the mix, it also introduced awful crackling because it was hitting the CPU too hard.

ヒットとの通信Communicating a hit

HoloLens エクスペリエンスに固有と感じたなる興味深い問題には、それらに到達したこと、プレイヤーに効率的に通信するの困難でした。An interesting issue we ran into, which we felt was unique to the HoloLens experience, was the difficulty of effectively communicating to the players that they have been hit. 発生する複合現実成功にストーリーが起こっている感覚です。What makes a mixed reality experience successful is the feeling that the story is happening to you. リビング ルームで、エイリアン ロボットの侵入を戦っていることを信じられないかもしれませんがあることを意味します。That means that you have to believe that YOU are fighting an alien robot invasion in your own living room.

プレーヤーは、明らかにされませんと感じる何も達したらを取得ために不良が happed いたものプレイヤーを本当に誘導する方法を検索する必要があります。Players obviously won't feel anything when they get hit, so we had to find a way to really convince the player that something bad had happed to them. 従来のゲームでは、アニメーション、文字が、ヒットを取得または赤と、文字、画面が点滅する可能性がありますを把握することができますが、少し grunt 可能性があります表示があります。In conventional games you might see an animation that lets you know your character has taken a hit, or the screen might flash red and your character might grunt a little. ビジュアル キューを結合することを示すを本当に誇張されたサウンドを使用することにしましたので、これらの種類のキューは、複合現実エクスペリエンスで機能しない、破損を取得しました。Since these types of cues don't work in a mixed reality experience, we decided to combine the visual cue with a really exaggerated sound that indicates you've taken damage. ビッグのサウンドを作成し、ダウンすべて ducked、ミックスで話題になりました。I created a big sound, and made it so prominent in the mix that it ducked everything down. 次も目立つようにさらに、追加しました短い警告音場合として、核弾頭 sub のシンクします。Then, to make it stand out even more, we added a short warning sound as if a nuclear sub was sinking.
プレーヤーに RoboRaid でヒットを取得が視覚的な合図を参照してくださいがも破損を撮影したことを示すを誇張されたオーディオ キューを取得します。When a player gets hit in RoboRaid, they see a visual cue, but also get an exaggerated audio cue that tells them they've taken damage.

小型のスピーカーから大規模なサウンドを取得します。Getting big sound from small speakers

HoloLens スピーカーはも小さく、あまりローエンド再生することはできないため、デバイスのニーズに合わせて軽量です。HoloLens speakers are small and light to suit the needs of the device, so you can’t expect to hear too much low-end. スマート フォンやゲームのハンドヘルド デバイス、サウンドのデザイナーや作曲家は、オーディオの頻度のコンテンツの注意がある向けに開発に似ています。Similar to developing for smart phones or handheld gaming devices, sound designers and composers have to be mindful of the frequency content of their audio. 常にサウンドを設計またはユーザーのオプションは、ヘッドホンを着用ために、完全な周波数範囲で音楽を書き込みます。I always design sounds or write music with full frequency range because wearing headphones is an option for the users. ただし、HoloLens のスピーカーとの互換性のためはテストを実行場合によっては、マスターで作業するにどの DAW の EQ を配置することで。However, to ensure compatibility with HoloLens speakers, I run a test occasionally by putting an EQ in the master of any DAW I happen to be working in. EQ 設定は (すぎましたの) 約 600 に 700 Hz 高域フィルターとローパス フィルター処理に約 10 K (急な)。The EQ setting consists of a high-pass filter around 600 to 700 Hz (not too steep) and low-pass filter at around 10K (very steep). サウンドがデバイスでの再生をどのようにのおおよそのアイデアを提供する必要があります。That should give you a ballpark idea of how your sounds will playback on the device.

低音で音楽を変更するコードの意味するためにいる場合は、この EQ 設定を適用すると、音楽がそのルートの意味を完全に失うことがあります。If you are relying on bass to give the sense of chord changing in your music, you may find that your music completely loses the sense of root when you apply this EQ setting. これを解決するには、は 1 つ octave より高い (いくつかの機能豊富な harmonics) で低音に別のレイヤーを追加し、ルートの背面の把握に混合します。To remedy this, I added another layer to the bass that is one octave higher (with some rich harmonics) and mixed it to get the sense of root back. Harmonics を amp のゆがみを使用するはその下にあるものと思われる、脳に範囲の上限に十分な頻度のコンテンツが提供されます。Sometimes using distortion to amp up the harmonics will give enough frequency content in the upper range to make our brain think that there’s something underneath it. これは、プロ級のスーパー攻撃などの影響、爆発、特別な瞬間のサウンドなど SFX の場合は true。This is true for SFX like impacts, explosions, or sounds for special moments, such as a boss' super attacks. 実際に、プレーヤーの影響や重み感を与えるには、ローエンドの依存できません。You really can’t rely on the low-end to give the player a sense of impact or weight. 音楽と同様ゆがみを使用して高速の少し説明すること間違いなく。As with music, using distortion to give a little bit of crunch definitely helped.

スタンド、オーディオ キューの作成Making your audio cues stand out

Bombastic 音楽や音量の銃 crazy 爆発; チームのだれもが望む当然ながら、voiceover またはゲームに不可欠なオーディオ キューを聞くことができるも希望していました。Naturally, everyone on the team wanted bombastic music, loud guns, and crazy explosions; but they also wanted to be able to hear voiceover or any other game-critical audio cues.

頻度、さまざまなコンソール ゲームでサウンドの重要性に応じて周波数を分割する他のオプションがあります。On a console game with full range of frequency you have more options to divide frequencies up depending on the importance of the sound. RoboRaid のただし、私がの制限サウンドからを曲線はでした周波数の範囲の数。For RoboRaid, however, I was limited in the number of ranges of frequencies I could curve out from sounds. たとえば、低域フィルターと、範囲の終点となるが多すぎるを曲線を使用する場合のものがないためはるか下位サウンド上の残り必要はありません。For instance, if you use low-pass filter and curve out too much from the higher end of the spectrum, you won’t have anything left on the sound because there’s not much low-end.

RoboRaid を大きなデバイスで可能な限りエクスペリエンス全体のダイナミック レンジを削減する必要があるし、サウンドのさまざまな種類の重要度のクリア階層を作成してかわすの広範な使用サウンドようにと。In order to make RoboRaid sound as big as it can on the device, we had to lower the dynamic range of the whole experience and made extensive use of ducking by creating a clear hierarchy of importance for different types of sounds. 重要性に応じて-6 db-2 かわすを設定します。I set the ducking from -2 to -6 dB depending on the importance. 個人的に気に入らないため、多くのフェードイン/アウトのタイミングと、ボリュームの減衰の量のチューニング時間を費やして、ゲームの明確なかわします。I personally don’t like obvious ducking in games, so I spent a lot of time tuning the fade in/out timing and the amount of volume attenuation. 空間のサウンド、非空間サウンド、VO、および音楽、リバーブことがなく乾いたバスの別のバスを設定し、非常に高い優先度、重大、および重大でないバスを作成します。We set up separate busses for spatial sound, non-spatial sound, VO, and dry bus without reverb for music, then created very high priority, critical, and non-critical busses. 資産は、適切なバスに移動するのに設定されたします。The assets were then set up to go to their appropriate busses.

オーディオ プロフェッショナル世の中の必要があります多くの楽しくて興奮 RoboRaid での作業を行ったように、独自のアプリで作業を願っています。I hope audio professionals out there will have as much fun and excitement working on their own apps as I did working on RoboRaid. 参照してください (を聞く!) どのようなマイクロソフトの外部の優秀な人は HoloLens のするまで待つことはできません。I can’t wait to see (and hear!) what the talented folks outside Microsoft will come up with for HoloLens.

自分で行うDo it yourself

(爆発) などのイベントをより大きな音をことを確認する検出は 1 つのトリック: ルームを入力できるように、空間のサウンドの mono の資産を作成し、3 D で再生するための 2D ステレオ資産と併用することでした。One trick I discovered to make certain events (such as explosions) sound "bigger"—like they're filling up the room—was to create a mono asset for the spatial sound and mix it with a 2D stereo asset, to be played back in 3D. かかりますチューニングによって、ステレオのコンテンツで大量の情報を持つ mono の資産の方向性を抑えられるためです。It does take some tuning, since having too much information in the stereo content will lessen the directionality of the mono assets. ただし、適切なバランスを取得する、正しい方向に頭を有効にするプレーヤーを取得する膨大なサウンドされます。However, getting the balance right will result in huge sounds that will get players to turn their heads in the right direction.

次のオーディオ アセットを使用して自分で試すことできます。You can try this yourself using the audio assets below:

シナリオ 1Scenario 1

  1. ダウンロードroboraid_enemy_explo_mono.wavで空間のサウンドの再生に設定され、イベントに割り当てるとします。Download roboraid_enemy_explo_mono.wav and set to playback through spatial sound and assign it to an event.
  2. ダウンロードroboraid_enemy_explo_stereo.wav 2D ステレオで再生に設定して、上記と同じイベントに割り当てます。Download roboraid_enemy_explo_stereo.wav and set to playback in 2D stereo and assign to the same event as above. Unity には、これらの資産が正規化され、ためには、クリップにしないように両方のアセットのボリュームを減衰させます。Because these assets are normalized to Unity, attenuate volume of both assets so that it doesn’t clip.
  3. 両方のサウンドを一緒に再生します。Play both sounds together. 空間がどのように聞こえると思われるために、頭に移動します。Move your head around to feel how spatial it sounds.

シナリオ 2Scenario 2

  1. ダウンロードroboraid_enemy_explo_summed.wavで空間のサウンドの再生に設定され、イベントを割り当てるとします。Download roboraid_enemy_explo_summed.wav and set to playback through spatial sound and assign to an event.
  2. この資産を単独で再生し、シナリオ 1 からのイベントを比較します。Play this asset by itself then compare it to the event from Scenario 1.
  3. Mono とステレオのファイルの別の分散を実行してください。Try different balance of mono and stereo files.

執筆者紹介About the author

Picture of Charles Sinex Charles SinexCharles Sinex
オーディオのエンジニア リング @MicrosoftAudio Engineer @Microsoft

関連項目See Also