Verwenden von Sound in Anwendungen mit gemischter RealitätHow to use sound in mixed-reality applications

Mit Sound können Sie das geistige Modell des Benutzers der Anwendung informieren und verstärken.You can use sound to inform and reinforce the user's mental model of application state. Verwenden Sie bei Bedarf spatialization, um Klänge in der Mixed-Reality-Welt zu platzieren.Use spatialization, when appropriate, to place sounds in the mixed-reality world. Wenn Sie das Akustik und das visuelle Element auf diese Weise verbinden, vertiefen Sie die intuitive Natur der Interaktionen und erhöhen die Benutzer Zuverlässigkeit.When you connect the auditory and the visual in this way, you deepen the intuitive nature of interactions and increase user confidence.

Wann sollten Sounds hinzugefügt werden?When to add sounds

Anwendungen mit gemischter Realität verfügen häufig über eine größere Notwendigkeit für Sound als 2D-apps, da Sie nicht über eine benutzerfreundliche Schnittstelle verfügen.Mixed-reality applications often have a greater need for sound than 2D apps, because of their lack of a tactile interface. Fügen Sie Sounds hinzu, wenn Sie den Benutzer informieren oder Interaktionen verstärken.Add sounds when they inform the user or reinforce interactions.

Informieren und verstärkenInform and reinforce

  • Bei Ereignissen, die nicht vom Benutzer initiiert werden (z. b. Benachrichtigungen), wird der Benutzer mit Sound informiert, dass eine Änderung aufgetreten ist.For events that aren't initiated by the user, such as notifications, use sound to inform the user that a change occurred.
  • Interaktionen können mehrere Stufen aufweisen.Interactions may have several stages. Verwenden Sie Sound, um Phasenübergänge zu verstärken.Use sound to reinforce stage transitions.

Sehen Sie sich die folgenden Beispiele für Interaktionen, Ereignisse und empfohlene Sound Merkmale an.See the following examples of interactions, events, and suggested sound characteristics.

Übungs ZurückhaltungExercise restraint

Benutzer haben keine unbegrenzte Kapazität für Audioinformationen.Users don't have an unlimited capacity for audio information.

  • Jeder Sound sollte bestimmte, wertvolle Informationen vermitteln.Each sound should communicate specific, valuable information.
  • Wenn Ihre APP einen Sound wieder gibt, um den Benutzer zu informieren, verringern Sie vorübergehend das Aufkommen anderer Sounds.When your app plays a sound to inform the user, temporarily reduce the volume of other sounds.
  • Fügen Sie für schaltflächenhover-Sounds (siehe folgende Informationen) eine Zeitverzögerung hinzu, um eine übermäßige Geräusch Auslösung zu verhindern.For button hover sounds (see the following information), add a time delay to prevent excessive sound triggering.

Verlassen Sie sich nicht ausschließlich auf Sounds.Don't rely solely on sounds

Sounds, die gut verwendet werden, sind für Ihre Benutzer wertvoll.Sounds that are used well are valuable to your users. Stellen Sie jedoch sicher, dass Ihre Anwendung auch dann verwendbar ist, wenn der Sound ausgeschaltet ist.But make sure your application is usable even with the sound turned off.

  • Benutzer werden möglicherweise beeinträchtigt.Users may be hearing impaired.
  • Ihre Anwendung kann in einer laut Umgebung verwendet werden.Your application may be used in a loud environment.
  • Benutzer haben möglicherweise Probleme mit dem Datenschutz oder andere Gründe, das Gerät zu deaktivieren.Users may have privacy concerns or other reasons to disable device audio.

Vorgehensweise beim sonify von InteraktionenHow to sonify interactions

Interaktions Typen in gemischter Realität umfassen Gesten, direkte Bearbeitung und Spracheingabe.Interaction types in mixed reality include gesture, direct manipulation, and voice. Verwenden Sie die folgenden empfohlenen Merkmale, um Klänge für diese Interaktionen auszuwählen oder zu entwerfen.Use the following suggested characteristics to select or design sounds for these interactions.

Gesten InteraktionenGesture interactions

In gemischter Realität können Benutzer mit Schaltflächen interagieren, indem Sie eine Maus verwenden.In mixed reality, users may interact with buttons by using a mouse. Schaltflächen Aktionen treten in der Regel auf, wenn der Benutzer loslässt, anstatt die Schaltfläche zu drücken, um dem Benutzer das Abbrechen der Interaktion zu gestatten.Button actions generally occur when the user releases rather than presses the button to give the user a chance to cancel the interaction. Verwenden Sie Sounds, um diese Phasen zu verstärken.Use sounds to reinforce these stages. Zur Unterstützung von Benutzern bei der Ausrichtung von fern enden Schaltflächen sollten Sie auch einen Zeiger auf Zeiger zeigen.To assist users in targeting distant buttons, also consider using a pointer-hover sound.

  • Die Schaltfläche "Sound" sollte ein kurzes, taktiles "klicken" sein.Button-press sounds should be a short, tactile "click."
    Beispiel: MRTK_ButtonPress. wavExample: MRTK_ButtonPress.wav
  • Die Schaltfläche "unpress"-Sounds sollte ein ähnliches taktiles Gefühl aufweisen.Button-"unpress" sounds should have a similar tactile feel. Eine höhere Tonhöhe als der Press Sound verstärkt den Sinn der Vervollständigung.A higher pitch than the press sound reinforces the sense of completion.
    Beispiel: MRTK_ButtonUnpress. wavExample: MRTK_ButtonUnpress.wav
  • Für Hover-Sounds empfiehlt es sich, einen kleinen und nicht bedrohlichen Sound zu verwenden, z. b. eine niedrige Häufigkeits-oder Stoß Bewegung.For hover sounds, consider using a subtle and non-threatening sound, such as a low-frequency thud or bump.

Direkte ManipulationDirect manipulation

Bei hololens 2 unterstützt die Handschrift Nachverfolgung die direkte Bearbeitung von Elementen der Benutzeroberfläche.On HoloLens 2, articulated hand tracking supports direct manipulation of user-interface elements. Sounds sind wichtig, wenn kein anderes physisches Feedback vorhanden ist.Sounds are important when there's no other physical feedback.

Ein Schalt Flächen-Press Sound ist wichtig, da der Benutzer keine andere Anzeige erhält, wenn er das Ende des Tasten Strichs erreicht.A button press sound is important because the user doesn't get any other indication when they reach the bottom of the key stroke. Die audioindikatoren von Schlüssel Reisen können klein, geringfügig und okton sein.Sound indicators of key travel can be small, subtle, and occluded. Wie bei Gesten Interaktionen sollte das Drücken von Schaltflächen auf einen kurzen, über taktilen Sound wie ein Klick erhalten.As with gesture interactions, button presses should get a short, tactile sound like a click. Unpressen sollten einen ähnlichen Klick Sound haben, jedoch mit erhöhter Tonhöhe.Unpresses should have a similar click sound but with raised pitch.

Es ist schwierig, eine Aktion zum durchlassen oder veröffentlichen visuell zu bestätigen.It's difficult to visually confirm a grab or release action. Der Benutzer hat häufig einen visuellen Effekt, und in Festkörper Objekten fehlt eine echte visuelle Darstellung von "Grabbing".The user's hand will often be in the way of any visual effect, and hard-bodied objects lack a real-world visual analog of "grabbing." Sounds können erfolgreiche Interaktionen und releaseinteraktionen effektiv übermitteln.Sounds can effectively communicate successful grab and release interactions.

  • Bei der Aufnahme von Aktionen sollte ein kurzer, etwas gedämpfteter taktischender Sound vorhanden sein, der die Idee von Fingern zum Schließen eines Objekts anfordert.Grab actions should have a short, somewhat-muffled tactile sound that prompts the idea of fingers closing around an object. Manchmal gibt es auch einen "whoosh"-Sound, der zum übermitteln der Bewegung führt.Sometimes there's also a "whoosh" sound that leads up to the grabbing sound to communicate the motion of the hand.
    Beispiel: MRTK_Move_Start. wavExample: MRTK_Move_Start.wav
  • Releaseaktionen sollten einen ähnlich kurzen und unauditon Sound erhalten.Release actions should get a similarly short and tactile sound. Es ist in der Regel niedriger als der Ton und in umgekehrter Reihenfolge, mit einer Auswirkung und einem "whoosh", um zu kommunizieren, dass sich das Objekt am Ort befindet.It's usually lower pitched than the grab sound and in reverse order, with an impact and then a "whoosh" to communicate that the object is settling into place.
    Beispiel: MRTK_Move_End. wavExample: MRTK_Move_End.wav

Eine Zeichnungs Interaktion sollte einen permanenten Schleifen Sound mit einem Volume erhalten, das durch die Handbewegung des Benutzers bestimmt wird.A drawing interaction should get a persistent, looping sound with volume determined by the user's hand movement. Er sollte unbeaufsichtigt sein, wenn die Hand des Benutzers immer noch ist, wenn die Hand bewegt wird.It should be silent when the user's hand is still and loudest when the hand is moving quickly.

Sprach InteraktionenVoice interactions

Sprach Interaktionen haben häufig feine visuelle Elemente.Voice interactions often have subtle visual elements. Verwenden Sie Sounds, um Interaktions Phasen zu verstärken.Use sounds to reinforce interaction stages. Möglicherweise möchten Sie mehr tontöne verwenden, um Sie von Gesten-und direkt Manipulations Geräuschen zu unterscheiden.You may want to use more-tonal sounds to distinguish them from gesture and direct-manipulation sounds.

  • Verwenden Sie für die Bestätigung von Sprachbefehlen einen positiven Ton Sound.Use a positive-sounding tone for voice command confirmations. Steigende Töne und große musikalische Intervalle sind effektiv.Rising tones and major musical intervals are effective.
  • Verwenden Sie für sprach Befehls Fehler einen kürzeren, weniger positiven Ton Sound.Use a shorter, less-positive-sounding tone for voice command failures. Vermeiden Sie negative Sounds.Avoid negative sounds. Verwenden Sie stattdessen einen perkussiven, neutralen Sound, um zu kommunizieren, dass die Anwendung von der Interaktion aus bewegt wird.Instead, use a more percussive, neutral sound to communicate that the application is moving on from the interaction.
  • Wenn Ihre Anwendung ein Reaktivierungs Wort hat, verwenden Sie einen kurzen, sanften Ton, wenn das Gerät mit dem lauschen beginnt.If your application has a wake word, use a short, gentle tone when the device starts listening. Verwenden Sie einen feinen Schleifen Sound, während die Anwendung lauscht .Use a subtle looping sound while the application is listening.

BenachrichtigungenNotifications

Benachrichtigungen signalisieren Anwendungs Zustandsänderungen und andere Ereignisse, die der Benutzer nicht initiiert hat.Notifications signal application-state changes and other events the user didn't initiate. Zustandsänderungen können Prozess Vervollständigungen, Nachrichten und Telefonanrufe einschließen.State changes can include process completions, messages, and phone calls.

In gemischter Realität werden Objekte manchmal aus der Sicht des Benutzers verschoben.In mixed reality, objects sometimes move out of the user's field of view. Koppeln Sie animierte Objekte mit einem räumlichen Ton, der vom Objekttyp und der Geschwindigkeit der Bewegung abhängig ist.Pair moving animated objects with a spatialized sound that depends on the object type and speed of motion.

  • Es hilft, einen räumlichen Sound am Ende einer Animation wiederzugeben, um den Benutzer über die neue Position des Objekts zu informieren.It helps to play a spatialized sound at the end of an animation to inform the user of the object's new position.
  • Bei schrittweisen Verschiebungen unterstützt ein "whoosh"-Sound während der Bewegung den Benutzer beim Nachverfolgen des Objekts.For gradual movements, a "whoosh" sound during movement helps the user track the object.

Nach richten-Benachrichtigungs Sounds werden möglicherweise wiederholt, manchmal in schneller Folge.Message notification sounds may be heard repeatedly, sometimes in quick succession. Es ist wichtig, dass Sie sich nicht herausstellen oder hart klingen.It's important they don't stand out or sound harsh. Positive klangliche Töne im mittleren Bereich sind effektiv.Mid-range positive tonal sounds are effective.

  • Die Sounds für eingehende Anrufe sollten ähnliche Qualitäten wie ein zelltelefonrington aufweisen.Incoming-call sounds should have similar qualities to a cell phone ringtone. Diese Sounds sind Schleife von musikalischen Ausdrücken, die wiedergegeben werden, bis der Benutzer den-Befehl aufruft.These sounds are looping musical phrases that play until the user answers the call.
  • Die sprach Kommunikationsverbindung und die Verbindungs Trennung sollten einen kurzen, klanglichen Ton aufweisen.Voice communication connection and disconnection should have a short, tonal sound. Der Verbindungs Sound sollte ein positiver Ton sein, um eine erfolgreiche Verbindung anzugeben.The connection sound should be a positive tone to indicate a successful connection. Der Sound für die Trennung der Verbindung sollte ein neutraler Sound sein, um den Abschluss des Aufrufes anzuzeigen.The disconnection sound should be a neutral sound to indicate completion of the call.

Behandeln der SpatialisierungHandle spatialization

Bei der Spatialisierung werden Stereo-Kopfhörer oder Referenten verwendet, um Klänge in der gemischten Realität zu platzieren.Spatialization uses stereo headphones or speakers to place sounds in the mixed-reality world.

Die zu räumlichen SoundsWhich sounds to spatialize

Ein Sound sollte räumlich räumlich sein, wenn er einem Ereignis zugeordnet ist, das einen räumlichen Standort aufweist.A sound should be spatialized when it's associated with an event that has a spatial location. Dies umfasst die Benutzeroberfläche, die verkörperten Ki-Stimmen und visuelle Indikatoren.This includes UI, embodied AI voices, and visual indicators.

Spatialisieren Sie Elemente der Benutzeroberfläche , um den Platz in der Benutzeroberfläche zu entgrenzen, indem Sie die Anzahl von Stereo Tönen beschränken, die Sie hören.Spatialize user interface elements to help declutter the user's sonic "space" by limiting the number of stereo sounds that they hear. Bearbeitungs Interaktionen, wie z. b. berühren, einspielen und freigeben, sind naturgemäß, wenn Audiofeedback räumlich verziiert ist.Manipulation interactions such as touching, grabbing, and releasing feel more natural when audio feedback is spatialized. Beachten Sie die folgenden Informationen zur Entfernungs Dämpfung für diese Elemente.Consider the following information about distance attenuation for these elements.

Spatialisieren Sie visuelle Indikatoren , und informieren Sie sich über Ki-Stimmen , um Benutzer intuitiv zu informieren, wenn diese Dinge außerhalb der Ansicht stehen.Spatialize visual indicators and embodied AI voices to intuitively inform users when these things are outside the field of view.

Vermeiden Sie im Gegensatz dazu die Spatialisierung für facettenreiche Ki-Stimmen und andere Elemente, die keinen klar definierten räumlichen Speicherort haben.In contrast, avoid spatialization for faceless AI voices and other elements that lack a well-defined spatial location. Die Spatialisierung ohne ein verwandtes visuelles Element kann Benutzer dazu lenken, zu glauben, dass es ein visuelles Element gibt, das nicht gefunden werden kann.Spatialization without a related visual element can distract users into thinking there's a visual element that they can't find.

Die Spatialisierung führt zu einigen CPU-Kosten.Spatialization does come with some CPU cost. Viele Anwendungen haben höchstens zwei Sounds, die gleichzeitig abgespielt werden.Many applications have at most two sounds playing simultaneously. Die Kosten für die Spatialisierung in diesem Fall sind wahrscheinlich unerheblich.The cost of spatialization in that case is likely negligible. Mit dem mrtk-Frameraten Monitor können Sie die Auswirkungen der Hinzufügung von spatialization beurteilen.You can use the MRTK frame rate monitor to judge the impact of adding spatialization.

Wann und wie die Entfernungs basierte Dämpfung angewendet wirdWhen and how to apply distance-based attenuation

In der physischen Welt sind Sounds, die weiter entfernt sind, leiser.In the physical world, sounds that are farther away are quieter. Die Audioengine kann diese Dämpfung basierend auf der Quell Distanz modellieren.Your audio engine can model this attenuation based on the source distance. Verwenden Sie die Entfernungs basierte Dämpfung, wenn Sie relevante Informationen kommuniziert.Use distance-based attenuation when it communicates relevant information.

Die Entfernungen zu visuellen Indikatoren, animierten holograms und andere informative Sounds sind für den Benutzer relevant.The distances to visual indicators, animated holograms, and other informative sounds are relevant to the user. Verwenden Sie die Entfernungs basierte Dämpfung, um intuitiv Hinweise bereitzustellen.Use distance-based attenuation to intuitively provide cues.

Passen Sie die Dämpfung der Dämpfung für jede Quelle an die Größe ihrer Bereiche mit gemischter Realität an.Adjust the attenuation curve for each source to fit the size of your mixed-reality world's spaces. Die Standardkurve ihrer Audioengine ist häufig für große Leerzeichen (bis zu halbkilometer) vorgesehen.Your audio engine's default curve is often meant for large (up to half-kilometer) spaces.

Sounds, die die progressiven Phasen von Schaltflächen Aktionen und anderen Interaktionen verstärken, sollten die Dämpfung nicht anwenden.Sounds that reinforce the progressive stages of button actions and other interactions shouldn't get attenuation applied. Die Verstärkungseffekte dieser Sounds sind wichtiger als die Übertragung der Entfernung an die Schaltfläche.The reinforcing effects of these sounds are more important than communicating the distance to the button. Variationen können ablenkend sein, insbesondere bei Tastaturen, wenn viele Schaltflächen Klicks nacheinander angezeigt werden.Variations can be distracting, especially with keyboards, when many button clicks may be heard in succession.

Welche spatialisierungs Technologie zu verwenden istWhich spatialization technology to use

Mithilfe von Kopf Köpfen oder den Referenten von hololens verwenden Sie auf der Basis der auf der Start bezogenen Übertragungsfunktion basierenden spatialization-Technologien.With headphones or the HoloLens speakers, use head-related transfer function (HRTF)-based spatialization technologies. Diese Technologien modellieren die audioweitergabe um den Kopf in der physischen Welt.These technologies model the sound propagation around the head in the physical world. Auch wenn sich eine Audioquelle auf der äußersten Seite eines Kopfes befindet, wird der Sound mit einer gewissen Dämpfung und Verzögerung an das entfernte Ohr weitergegeben.Even when a sound source is on the far side of one's head, sound propagates to the distant ear with some attenuation and delay. Lautsprecher schwenken basiert nur auf der Dämpfung und wendet die gesamte Dämpfung im linken Ohr an, wenn sich die Sounds auf der rechten Seite befinden und umgekehrt.Speaker panning relies only on attenuation and applies total attenuation in the left ear when sounds are on the right side, and the other way around. Diese Technik kann für "normale hörlistener" und nicht für Listener, die eine Hörbehinderung in einem Ohr haben, nicht zugänglich sein.This technique can be uncomfortable for "normal hearing" listeners and inaccessible for listeners who have hearing impairment in one ear.

Nächste SchritteNext steps