Comment utiliser le son dans des applications en réalité mixteHow to use sound in mixed-reality applications

Vous pouvez utiliser le son pour informer et renforcer le modèle mental de l’utilisateur de l’état de l’application.You can use sound to inform and reinforce the user's mental model of application state. Utilisez Spatialization, le cas échéant, pour placer des sons dans le monde de la réalité mixte.Use spatialization, when appropriate, to place sounds in the mixed-reality world. Lorsque vous connectez l’audit et le visuel de cette manière, vous Approfondissez la nature intuitive des interactions et augmentez la confiance de l’utilisateur.When you connect the auditory and the visual in this way, you deepen the intuitive nature of interactions and increase user confidence.

Quand ajouter des sonsWhen to add sounds

Les applications en réalité mixte ont souvent besoin d’un son plus grand que les applications 2D, en raison de leur manque d’interface tactile.Mixed-reality applications often have a greater need for sound than 2D apps, because of their lack of a tactile interface. Ajoutez des sons lorsqu’ils informent l’utilisateur ou renforcent les interactions.Add sounds when they inform the user or reinforce interactions.

Informer et renforcerInform and reinforce

  • Pour les événements qui ne sont pas initiés par l’utilisateur, tels que les notifications, utilisez le son pour informer l’utilisateur qu’une modification a eu lieu.For events that aren't initiated by the user, such as notifications, use sound to inform the user that a change occurred.
  • Les interactions peuvent avoir plusieurs étapes.Interactions may have several stages. Utilisez le son pour renforcer les transitions d’étape.Use sound to reinforce stage transitions.

Consultez les exemples suivants d’interactions, d’événements et de caractéristiques sonores suggérées.See the following examples of interactions, events, and suggested sound characteristics.

Contrainte d’exerciceExercise restraint

Les utilisateurs ne disposent pas d’une capacité illimitée pour les informations audio.Users don't have an unlimited capacity for audio information.

  • Chaque son doit communiquer des informations précieuses.Each sound should communicate specific, valuable information.
  • Lorsque votre application émet un son pour informer l’utilisateur, réduisez temporairement le volume des autres sons.When your app plays a sound to inform the user, temporarily reduce the volume of other sounds.
  • Pour les sons de pointage de bouton (voir les informations suivantes), ajoutez un délai pour empêcher le déclenchement excessif du son.For button hover sounds (see the following information), add a time delay to prevent excessive sound triggering.

Ne vous fiez pas uniquement aux sonsDon't rely solely on sounds

Les sons qui sont utilisés correctement sont précieux pour vos utilisateurs.Sounds that are used well are valuable to your users. Mais assurez-vous que votre application est utilisable même si le son est désactivé.But make sure your application is usable even with the sound turned off.

  • Les utilisateurs peuvent être malentendants.Users may be hearing impaired.
  • Votre application peut être utilisée dans un environnement bruyant.Your application may be used in a loud environment.
  • Les utilisateurs peuvent avoir des problèmes de confidentialité ou d’autres raisons de désactiver l’audio des appareils.Users may have privacy concerns or other reasons to disable device audio.

Comment sonify des interactionsHow to sonify interactions

Les types d’interaction en réalité mixte incluent le mouvement, la manipulation directe et la voix.Interaction types in mixed reality include gesture, direct manipulation, and voice. Utilisez les caractéristiques suggérées ci-dessous pour sélectionner ou créer des sons pour ces interactions.Use the following suggested characteristics to select or design sounds for these interactions.

Interactions de mouvementGesture interactions

En réalité mixte, les utilisateurs peuvent interagir avec des boutons à l’aide d’une souris.In mixed reality, users may interact with buttons by using a mouse. Les actions de bouton se produisent généralement lorsque l’utilisateur relâche au lieu d’appuyer sur le bouton pour permettre à l’utilisateur d’annuler l’interaction.Button actions generally occur when the user releases rather than presses the button to give the user a chance to cancel the interaction. Utilisez des sons pour renforcer ces étapes.Use sounds to reinforce these stages. Pour aider les utilisateurs à cibler des boutons distants, envisagez également d’utiliser un son de pointage pointeur.To assist users in targeting distant buttons, also consider using a pointer-hover sound.

  • Le bouton de pression sur les sons doit être un petit « clic » tactile.Button-press sounds should be a short, tactile "click."
    Exemple : MRTK_ButtonPress. wavExample: MRTK_ButtonPress.wav
  • Les sons du bouton « dépresse » doivent avoir une apparence tactile similaire.Button-"unpress" sounds should have a similar tactile feel. Une tonalité plus élevée que le son de presse renforce le sens de l’achèvement.A higher pitch than the press sound reinforces the sense of completion.
    Exemple : MRTK_ButtonUnpress. wavExample: MRTK_ButtonUnpress.wav
  • Pour les sons sensitifs, envisagez d’utiliser un son discret et non menaçant, tel qu’un Thud ou un bossage à basse fréquence.For hover sounds, consider using a subtle and non-threatening sound, such as a low-frequency thud or bump.

Manipulation directeDirect manipulation

Sur HoloLens 2, le suivi articulé prend en charge la manipulation directe des éléments de l’interface utilisateur.On HoloLens 2, articulated hand tracking supports direct manipulation of user-interface elements. Les sons sont importants lorsqu’il n’y a pas d’autres commentaires physiques.Sounds are important when there's no other physical feedback.

Une pression sur un bouton est importante, car l’utilisateur n’obtient aucune autre indication lorsqu’il atteint le bas du trait de touche.A button press sound is important because the user doesn't get any other indication when they reach the bottom of the key stroke. Les indicateurs sonores de la course de la clé peuvent être de petite taille, subtile et bloqués.Sound indicators of key travel can be small, subtle, and occluded. Comme avec les interactions de mouvement, les enfoncements de bouton doivent obtenir un son bref et tactile comme un clic.As with gesture interactions, button presses should get a short, tactile sound like a click. Les dépressions doivent avoir un son de clic similaire, mais avec un pas de tonalité élevé.Unpresses should have a similar click sound but with raised pitch.

Il est difficile de confirmer visuellement une action de manipulation ou de libération.It's difficult to visually confirm a grab or release action. La main de l’utilisateur se trouve souvent dans le sens d’un effet visuel, et les objets qui ne sont pas bien réalisés en dur n’ont pas d’équivalent visuel réel de la « saisie ».The user's hand will often be in the way of any visual effect, and hard-bodied objects lack a real-world visual analog of "grabbing." Les sons peuvent communiquer efficacement avec succès les interactions de capture et de libération.Sounds can effectively communicate successful grab and release interactions.

  • Les actions de manipulation doivent avoir un son tactile bref, légèrement atténué, qui invite à se fermer autour d’un objet.Grab actions should have a short, somewhat-muffled tactile sound that prompts the idea of fingers closing around an object. Parfois, il y a également un son « bizarres » qui amène le son de saisie pour communiquer le mouvement de la main.Sometimes there's also a "whoosh" sound that leads up to the grabbing sound to communicate the motion of the hand.
    Exemple : MRTK_Move_Start. wavExample: MRTK_Move_Start.wav
  • Les actions de mise en version doivent obtenir un son très bref et tactile.Release actions should get a similarly short and tactile sound. En règle générale, il est plus petit que le son et dans l’ordre inverse, avec un impact, puis un « bizarres » pour indiquer que l’objet est en cours de mise en place.It's usually lower pitched than the grab sound and in reverse order, with an impact and then a "whoosh" to communicate that the object is settling into place.
    Exemple : MRTK_Move_End. wavExample: MRTK_Move_End.wav

Une interaction de dessin doit obtenir un son en boucle persistant avec le volume déterminé par le mouvement de l’utilisateur.A drawing interaction should get a persistent, looping sound with volume determined by the user's hand movement. Elle doit être silencieuse lorsque la main de l’utilisateur est toujours et la plus forte quand la main est rapidement déplacée.It should be silent when the user's hand is still and loudest when the hand is moving quickly.

Interactions vocalesVoice interactions

Les interactions vocales ont souvent des éléments visuels subtils.Voice interactions often have subtle visual elements. Utilisez des sons pour renforcer les étapes d’interaction.Use sounds to reinforce interaction stages. Vous souhaiterez peut-être utiliser des sons plus tonals pour les distinguer des sons de mouvement et de manipulation directe.You may want to use more-tonal sounds to distinguish them from gesture and direct-manipulation sounds.

  • Utilisez une tonalité positive pour les confirmations de commandes vocales.Use a positive-sounding tone for voice command confirmations. Les tonalités en hausse et les intervalles musicaux importants sont efficaces.Rising tones and major musical intervals are effective.
  • Utilisez une tonalité plus rapide et moins positive pour les échecs de commande vocale.Use a shorter, less-positive-sounding tone for voice command failures. Évitez les sons négatifs.Avoid negative sounds. Au lieu de cela, utilisez un son neutre plus percutant pour communiquer que l’application est en déplacement.Instead, use a more percussive, neutral sound to communicate that the application is moving on from the interaction.
  • Si votre application comporte un mot de mise en éveil, utilisez un bref instant lorsque l’appareil commence à écouter.If your application has a wake word, use a short, gentle tone when the device starts listening. Utilisez un son de bouclage subtil pendant que l’application est à l’écoute.Use a subtle looping sound while the application is listening.

NotificationsNotifications

Les notifications signalent des modifications d’état de l’application et d’autres événements que l’utilisateur n’a pas initiés.Notifications signal application-state changes and other events the user didn't initiate. Les changements d’État peuvent inclure les saisies semi-automatiques de processus, les messages et les appels téléphoniques.State changes can include process completions, messages, and phone calls.

En réalité mixte, les objets sortent parfois du champ de vue de l’utilisateur.In mixed reality, objects sometimes move out of the user's field of view. Coupler le déplacement d' objets animés avec un son spatial qui dépend du type d’objet et de la vitesse du mouvement.Pair moving animated objects with a spatialized sound that depends on the object type and speed of motion.

  • Il permet de lire un son spatial à la fin d’une animation pour informer l’utilisateur de la nouvelle position de l’objet.It helps to play a spatialized sound at the end of an animation to inform the user of the object's new position.
  • Pour les mouvements progressifs, un son « bizarres » pendant le déplacement permet à l’utilisateur de suivre l’objet.For gradual movements, a "whoosh" sound during movement helps the user track the object.

Les sons de notification de message peuvent être entendus à plusieurs reprises, parfois en succession rapide.Message notification sounds may be heard repeatedly, sometimes in quick succession. Il est important qu’ils ne se déposent pas ou ne soient pas très difficiles.It's important they don't stand out or sound harsh. Les sons tonals positifs de milieu de gamme sont efficaces.Mid-range positive tonal sounds are effective.

  • Les sons d’appel entrant doivent avoir des qualités similaires à une sonnerie de téléphone cellulaire.Incoming-call sounds should have similar qualities to a cell phone ringtone. Ces sons sont des expressions musicales en boucle qui s’exécutent jusqu’à ce que l’utilisateur réponde à l’appel.These sounds are looping musical phrases that play until the user answers the call.
  • La connexion et la déconnexion de la communication vocale doivent avoir un son petit et tonal.Voice communication connection and disconnection should have a short, tonal sound. Le son de la connexion doit être un ton positif pour indiquer une connexion réussie.The connection sound should be a positive tone to indicate a successful connection. Le son de déconnexion doit être un signal sonore neutre pour indiquer la fin de l’appel.The disconnection sound should be a neutral sound to indicate completion of the call.

Handle SpatializationHandle spatialization

Spatialization utilise des casques ou enceintes stéréo pour placer des sons dans le monde de la réalité mixte.Spatialization uses stereo headphones or speakers to place sounds in the mixed-reality world.

Les sons à spatialiserWhich sounds to spatialize

Un son doit être spatial lorsqu’il est associé à un événement qui a un emplacement spatial.A sound should be spatialized when it's associated with an event that has a spatial location. Cela comprend l’interface utilisateur, les voix des IA incorporées et les indicateurs visuels.This includes UI, embodied AI voices, and visual indicators.

Spatialiser les éléments de l' interface utilisateur pour nettoyer l’espace « espace » de l’utilisateur en limitant le nombre de sons stéréo qu’ils entendent.Spatialize user interface elements to help declutter the user's sonic "space" by limiting the number of stereo sounds that they hear. Les interactions de manipulation, telles que le toucher, la saisie et la libération, semblent plus naturelles quand les commentaires audio sont spatiaux.Manipulation interactions such as touching, grabbing, and releasing feel more natural when audio feedback is spatialized. Tenez compte des informations suivantes sur l’atténuation des distances pour ces éléments.Consider the following information about distance attenuation for these elements.

Spatialer les indicateurs visuels et les voix de l' IA incorporés pour informer intuitivement les utilisateurs lorsque ces éléments se trouvent en dehors du champ d’affichage.Spatialize visual indicators and embodied AI voices to intuitively inform users when these things are outside the field of view.

En revanche, évitez Spatialization pour les voix Faceless ai et d’autres éléments qui n’ont pas d’emplacement spatial bien défini.In contrast, avoid spatialization for faceless AI voices and other elements that lack a well-defined spatial location. Spatialization sans élément visuel associé peut distraire les utilisateurs à penser qu’il y a un élément visuel qu’ils ne peuvent pas trouver.Spatialization without a related visual element can distract users into thinking there's a visual element that they can't find.

Spatialization est fourni avec un coût d’UC.Spatialization does come with some CPU cost. De nombreuses applications ont au maximum deux sons lus simultanément.Many applications have at most two sounds playing simultaneously. Dans ce cas, le coût de Spatialization est probablement négligeable.The cost of spatialization in that case is likely negligible. Vous pouvez utiliser le moniteur de fréquence d’images MRTK pour évaluer l’impact de l’ajout de Spatialization.You can use the MRTK frame rate monitor to judge the impact of adding spatialization.

Quand et comment appliquer l’atténuation basée sur la distanceWhen and how to apply distance-based attenuation

Dans le monde physique, les sons qui sont plus éloignés sont plus calmes.In the physical world, sounds that are farther away are quieter. Votre moteur audio peut modéliser cette atténuation en fonction de la distance source.Your audio engine can model this attenuation based on the source distance. Utilisez l’atténuation basée sur la distance lorsqu’elle communique les informations pertinentes.Use distance-based attenuation when it communicates relevant information.

Les distances avec les indicateurs visuels, les hologrammes animés et d’autres sons informatifs sont pertinentes pour l’utilisateur.The distances to visual indicators, animated holograms, and other informative sounds are relevant to the user. Utilisez l’atténuation basée sur la distance pour fournir intuitivement des piles.Use distance-based attenuation to intuitively provide cues.

Ajustez la courbe d’atténuation pour chaque source en fonction de la taille des espaces de votre monde de réalité mixte.Adjust the attenuation curve for each source to fit the size of your mixed-reality world's spaces. La courbe par défaut de votre moteur audio est souvent destinée à des espaces de grande taille (jusqu’à demi-kilomètre).Your audio engine's default curve is often meant for large (up to half-kilometer) spaces.

Les sons qui renforcent les étapes progressives des actions de bouton et d' autres interactions ne doivent pas être appliqués.Sounds that reinforce the progressive stages of button actions and other interactions shouldn't get attenuation applied. Les effets de renforcement de ces sons sont plus importants que la communication entre la distance et le bouton.The reinforcing effects of these sounds are more important than communicating the distance to the button. Les variations peuvent être gênantes, en particulier avec les claviers, lorsque de nombreux clics de bouton peuvent être audibles à la suite.Variations can be distracting, especially with keyboards, when many button clicks may be heard in succession.

La technologie Spatialization à utiliserWhich spatialization technology to use

Avec les haut-parleurs casque ou HoloLens, utilisez les technologies Spatialization basées sur la fonction de transfert HRTF.With headphones or the HoloLens speakers, use head-related transfer function (HRTF)-based spatialization technologies. Ces technologies modélisent la propagation du son autour de la tête dans le monde physique.These technologies model the sound propagation around the head in the physical world. Même lorsqu’une source audio se trouve à l’extrémité de l’une des têtes, le son se propage à l’oreille lointaine avec une atténuation et un retard.Even when a sound source is on the far side of one's head, sound propagates to the distant ear with some attenuation and delay. Le panoramique des orateurs s’appuie uniquement sur l’atténuation et applique une atténuation totale dans l’oreille gauche lorsque les sons se trouvent sur le côté droit, et inversement.Speaker panning relies only on attenuation and applies total attenuation in the left ear when sounds are on the right side, and the other way around. Cette technique peut ne pas être confortable pour les écouteurs « audition normale » et inaccessible pour les écouteurs qui ont un handicap auditif dans une oreille.This technique can be uncomfortable for "normal hearing" listeners and inaccessible for listeners who have hearing impairment in one ear.

Étapes suivantesNext steps