Audioinhalte in gemischter RealitätAudio in mixed reality

Das Audiomaterial ist ein wesentlicher Bestandteil von Design und Produktivität in gemischter Realität.Audio is an essential part of design and productivity in mixed reality. Sound kann:Sound can:

  • Erhöhen Sie das Vertrauen von Benutzern in Gesten-und sprach Interaktionen.Increase user confidence in gesture and voice interactions.
  • Leiten Sie die Benutzer zu den nächsten Schritten.Guide users to next steps.
  • Kombinieren Sie virtuelle Objekte effektiv mit der realen Welt.Effectively combine virtual objects with the real world.

Die Head-Nachverfolgung mit niedriger Latenz von Mixed Reality-Headsets (einschließlich hololens) unterstützt die auf hoher Qualität basierende Spatialisierung.The low-latency head tracking of mixed reality headsets, including HoloLens, supports high-quality HRTF-based spatialization. Sie können Audiodaten in Ihrer Anwendung für Folgendes spatialisieren:You can spatialize audio in your application to:

  • Beachten Sie, dass visuelle Elemente aufgerufen werden.Call attention to visual elements.
  • Helfen Sie Benutzern dabei, das Bewusstsein ihrer realen Umgebung zu wahren.Help users maintain awareness of their real-world surroundings.

Die Akustik verbindet Hologramme tiefer mit der Mixed-Reality-Welt.Acoustics more deeply connect holograms to the mixed-reality world. Es stellt Hinweise zur Umgebung und zum Objektzustand bereit.It provides cues about the environment and object state.

Weitere Informationen finden Sie unter ausführliche Entwurfs Beispiele für die Verwendung von Audiodateien.See detailed examples of design that uses audio.


GeräteunterstützungDevice support

FeatureFeature Hololens (erste Generation)HoloLens (first gen) HoloLens 2HoloLens 2 Immersive HeadsetsImmersive headsets
RaumklangSpatialization ✔️✔️ ✔️✔️ ✔️✔️
Beschleunigung der spatialisierungs HardwareSpatialization hardware acceleration ✔️✔️

Verwendung von Sounds in gemischter RealitätUse of sounds in mixed reality

Die Verwendung von Sounds in gemischter Realität erfordert einen anderen Ansatz als in der Touchscreen-und Tastatur-und Maus Anwendungen.Use of sounds in mixed reality requires a different approach than in touch and keyboard-and-mouse applications. Wichtige Entscheidungen zum Entwurf von Entscheidungen umfassen, welche Sounds räumlich und welche Interaktionen mit sonify zu tun haben.Key sound design decisions include which sounds to spatialize and which interactions to sonify. Diese Entscheidungen wirken sich stark auf Benutzer vertrauen, Produktivität und Lernkurve aus.These decisions strongly effect user confidence, productivity, and learning curve.

FallstudienCase studies

Mit holotour werden Benutzer praktisch zu touristischen und historischen Websites auf der ganzen Welt.HoloTour virtually takes users to tourist and historical sites around the world. Weitere Informationen finden Sie in der Fallstudie Sound Design for holotour .See the Sound design for HoloTour case study. Ein spezielles Mikrofon und renderingsetup wurden zum Erfassen der Themenbereiche verwendet.A special microphone and rendering setup were used to capture the subject spaces.

Roboraid ist ein Hochenergie geschütztes Gerät für hololens.RoboRaid is a high-energy shooter for HoloLens. In der Fallstudie Sound Design for roboraid werden die Entwurfs Optionen beschrieben, die getroffen wurden, um sicherzustellen, dass räumliche Audiodaten in vollem Umfang dramatisch wirksam werden.The Sound design for RoboRaid case study describes the design choices that were made to ensure spatial audio was used to the fullest dramatic effect.

RaumklangSpatialization

Spatialization ist die direktionale Komponente räumlicher Audiodaten.Spatialization is the directional component of spatial audio. Bei einem 7,1-Home-Theater-Setup ist die Spatialisierung so einfach wie das Schwenken zwischen Lautsprechern.For a 7.1 home theater setup, spatialization is as simple as panning between loudspeakers. Doch für Kopfhörer in gemischter Realität ist es von entscheidender Bedeutung, eine auf HRTF basierende Technologie für Genauigkeit und Komfort zu verwenden.But for headphones in mixed reality, it's essential to use an HRTF-based technology for accuracy and comfort. Windows bietet eine auf HRTF basierende Spatialisierung. diese Unterstützung ist auf hololens 2 Hardware beschleunigt.Windows offers HRTF-based spatialization, and this support is hardware-accelerated on HoloLens 2.


Sollte ich räumlich spatialisieren?Should I spatialize?

Die Spatialisierung kann viele Sounds in gemischten Reality-Anwendungen verbessern.Spatialization can improve many sounds in mixed-reality applications. Die Spatialisierung nimmt einen Sound aus dem Kopf des Listener und platziert Sie in der Welt.Spatialization takes a sound out of the listener's head and places it in the world. Vorschläge zur effektiven Verwendung von spatialization in Ihrer Anwendung finden Sie unter Spatial Sound Design.For suggestions on effective use of spatialization in your application, see Spatial sound design.

Spatializer-PersonalisierungSpatializer personalization

HRTFs bearbeitet die Ebenen-und Phasenunterschiede zwischen den Ohren im Frequenzspektrum.HRTFs manipulate the level and phase differences between ears across the frequency spectrum. Sie basieren auf physischen Modellen und Messungen von Menschen Kopf-, Rumpf-und Ohrformen (pinnae).They're based on physical models and measurements of human head, torso, and ear shapes (pinnae). Unsere Gehirne reagieren auf diese Unterschiede, um die wahrgenommene Richtung in Sound bereitzustellen.Our brains respond to these differences to provide perceived direction in sound.

Jede Person verfügt über eine eindeutige Ohrform, Kopfgröße und Position.Every individual has a unique ear shape, head size, and ear position. Das beste ist also die beste Lösung für Sie.So the best HRTFs conform to you. Um die räumungsgenauigkeit zu erhöhen, verwendet hololens ihren Inter-pupilary Distance (IPD) aus den Headset-anzeigen, um den HRTFs für die Kopfgröße anzupassen.To increase spatialization accuracy, HoloLens uses your inter-pupilary distance (IPD) from the headset displays to adjust the HRTFs for your head size.

Unterstützung für spatializer-PlattformSpatializer platform support

Windows bietet mithilfe der ispatialaudioclient-APIeine spatialization, einschließlich HRTFs.Windows offers spatialization, including HRTFs, via the ISpatialAudioClient API. Diese API macht die Hardwarebeschleunigung von hololens 2 HRTF für Anwendungen verfügbar.This API exposes the HoloLens 2 HRTF hardware acceleration to applications.

Unterstützung für spatializer-MiddlewareSpatializer middleware support

Die Unterstützung für Windows ' HRTFs ist für die folgenden Drittanbieter-AUDIOMODULE verfügbar.Support for Windows' HRTFs is available for the following third-party audio engines.

AkustikAcoustics

Räumliche Audiodaten sind ungefähr mehr als die Richtung.Spatial audio is about more than direction. Weitere Dimensionen sind Okklusion, Behinderung, Reverb, Porton und Quell Modellierung.Other dimensions include occlusion, obstruction, reverb, portaling, and source modeling. Gemeinsam werden diese Dimensionen als Akustik bezeichnet.Collectively these dimensions are referred to as acoustics. Ohne Akustik fehlt bei spatialisierten Sounds eine nicht wahrgenommene Entfernung.Without acoustics, spatialized sounds lack perceived distance.

Akustik Behandlungen reichen von einfachen bis zu komplexen.Acoustics treatments range from simple to complex. Sie können einen von beliebigen Audiomodulen unterstützten Reverb verwenden, um spatialisierte Sounds in die Umgebung des Listener zu überführen.You can use a reverb that's supported by any audio engine to push spatialized sounds into the environment of the listener. Akustiksysteme wie z. b. die Projekt Akustik bieten umfangreichere und überzeugende Akustik Behandlungen.Acoustics systems such as Project Acoustics provide richer and more compelling acoustics treatment. Die Projekt Akustik kann die Auswirkung von Wänden, Türen und anderen Szenen Geometrie in einem Sound modellieren.Project Acoustics can model the effect of walls, doors, and other scene geometry on a sound. Es ist eine effektive Option in Fällen, in denen die relevante Szene Geometrie zur Entwicklungszeit bekannt ist.It's an effective option for cases where the relevant scene geometry is known at development time.

Nächste SchritteNext steps