Übersicht über räumlichen Sound

In der Praxis ist räumlicher Sound von entscheidender Bedeutung. Wenn jemand Ihren Namen aufruft, wissen Sie, wie Sie aussehen sollten. Wenn Sie eine Uhr auf dem Randweg ablegen, können Sie feststellen, auf welche Weise sie gerollt wurde. Warum? Da Sie "räumlich" hören können, können Sie also erkennen, wo in Ihrer Umgebung der Sound auftritt.

In einer Mixed Reality-App müssen Sie möglicherweise nach oben, unten, von Seite zu Seite oder hinter Ihnen suchen, um etwas zu finden, das passiert. Manchmal kann es unklar sein, wo Sie hinsehen sollten. Räumlicher Sound verbindet Hologramme tiefer mit der Mixed Reality-Welt und liefert Informationen über die Umgebung und den Objektzustand. Sie können Hinweise aus der Richtung angeben, auf die Sie die Aufmerksamkeit lenken möchten. Dies hilft Benutzern, das Bewusstsein für ihre reale Umgebung zu bewahren und sie zu den nächsten Schritten zu führen. Dies erhöht das Vertrauen der Benutzer in Gesten- und Sprachinteraktionen.



Die Verwendung von Sounds in Mixed Reality erfordert einen anderen Ansatz als bei Touch- und Tastatur- und Mausanwendungen. Zu den wichtigsten Entwurfsentscheidungen für Sound gehören die zu räumlichen Töne und die Interaktionen, die vertont werden sollen. Ausführliche Anleitungen finden Sie in unserem Artikel Bewährte Methoden für räumlichen Sound .

Raumklang

Spatialization ist die richtungsbezogene Komponente des räumlichen Sounds. Bei einer Einrichtung der 7.1-Heimkinos ist die Räumliche Raumisierung so einfach wie das Schwenken zwischen Schäften. Aber für Aussteller in Mixed Reality ist es wichtig, eine HRTF-basierte Technologie für Genauigkeit und Komfort zu verwenden. Windows bietet HRTF-basierte Räumliche Raumbeschleunigung, und diese Unterstützung wird bei HoloLens 2 hardwarebeschleunigend.

Vorschläge zur effektiven Verwendung der Räumlichen Raumisierung in Ihrer Anwendung finden Sie unter Bewährte Methoden für räumlichen Sound.

Geräteunterstützung

Feature HoloLens (1. Generation) HoloLens 2 Immersive Headsets
Raumklang ✔️ ✔️ ✔️
Hardwarebeschleunigung für die Räumliche Raumbeschleun ✔️

Fallstudien

HoloTour führt Benutzer virtuell zu Sehenswürdigkeiten und historischen Standorten auf der ganzen Welt. Weitere Informationen finden Sie in der Fallstudie Sound design for HoloTour (Sounddesign für HoloTour ). Ein spezielles Mikrofon- und Renderingsetup wurde verwendet, um die Betreffräume zu erfassen.

RoboRaid ist ein hochleistungsintensiver Hochleistungsdoktor für HoloLens. In der Fallstudie Sound design for RoboRaid (Sounddesign für RoboRaid ) werden die Entwurfsentscheidungen beschrieben, die getroffen wurden, um sicherzustellen, dass räumlicher Sound für den umfassendsten drastischen Effekt verwendet wurde.

Spatializer-Personalisierung

Die Kopfverfolgung mit geringer Latenz von Mixed Reality-Headsets, einschließlich HoloLens, unterstützt hrtf-basierte Raumbestimmung von hoher Qualität.

HRTFs bearbeiten die Ebenen- und Phasenunterschiede zwischen den Verschiedenen des Frequenzspektrums. Sie basieren auf physischen Modellen und Messungen von menschlichen Kopf-, Torso- und Hörgeform (Pinnae). Unser Gehirn reagiert auf diese Unterschiede, um eine wahrgenommene Richtung im Sound bereitzustellen.

Jede Person verfügt über eine eindeutige Hörerform, Kopfgröße und Gehörposition. Daher entsprechen ihnen die besten HRTFs. Um die Genauigkeit der Räumlichen Darstellung zu erhöhen, verwendet HoloLens ihren Abstand zwischen Den Kopf und Headset, um die HRTFs für Ihre Kopfgröße anzupassen.

Spatializer-Plattformunterstützung

Windows bietet Räumliches, einschließlich HRTFs, über die ISpatialAudioClient-API. Diese API macht die HoloLens 2 HRTF-Hardwarebeschleunigung für Anwendungen verfügbar.

Middlewareunterstützung für Spatializer

Unterstützung für die HRTFs Windows ist für die folgenden Audio-Engines von Drittanbietern verfügbar.

Akustik

Bei räumlichem Sound geht es um mehr als die Richtung. Weitere Dimensionen sind Verdeckung, Hindernisse, Hall, Portaling und Quellmodellierung. Zusammen werden diese Dimensionen als Akustik bezeichnet. Ohne Akustik fehlt räumlicher Sound der wahrgenommene Abstand.

Die Akustik reicht von einfach bis komplex. Sie können einen Hall verwenden, der von jeder Audio-Engine unterstützt wird, um räumliche Sounds in die Umgebung des Listeners zu pushen. Akustiksysteme wie Project Acoustics bieten eine umfangreichere und überzeugendere Akustikbehandlung. Project Acoustics kann den Effekt von Wänden, Türen und anderer Szenengeometrie auf einen Sound modellieren. Dies ist eine effektive Option für Fälle, in denen die relevante Szenengeometrie zur Entwicklungszeit bekannt ist.

Nächste Schritte