Como usar o som em aplicativos de realidade mistaHow to use sound in mixed-reality applications

Você pode usar o som para informar e reforçar o modelo mental do usuário do estado do aplicativo.You can use sound to inform and reinforce the user's mental model of application state. Use a espacial, quando apropriado, para inserir sons no mundo de realidade misturada.Use spatialization, when appropriate, to place sounds in the mixed-reality world. Ao conectar a auditoria e o Visual dessa forma, você aprofunda a natureza intuitiva das interações e aumenta a confiança do usuário.When you connect the auditory and the visual in this way, you deepen the intuitive nature of interactions and increase user confidence.

Quando adicionar sonsWhen to add sounds

Aplicativos de realidade misturada geralmente têm uma necessidade maior de som do que aplicativos 2D, devido à falta de uma interface tactile.Mixed-reality applications often have a greater need for sound than 2D apps, because of their lack of a tactile interface. Adicione sons quando informar ao usuário ou reforçar as interações.Add sounds when they inform the user or reinforce interactions.

Informar e reforçarInform and reinforce

  • Para eventos que não são iniciados pelo usuário, como notificações, use o som para informar ao usuário que ocorreu uma alteração.For events that aren't initiated by the user, such as notifications, use sound to inform the user that a change occurred.
  • As interações podem ter vários estágios.Interactions may have several stages. Use o som para reforçar as transições de estágio.Use sound to reinforce stage transitions.

Consulte os exemplos de interações, eventos e características de som sugeridos a seguir.See the following examples of interactions, events, and suggested sound characteristics.

Retentor exercícioExercise restraint

Os usuários não têm uma capacidade ilimitada para informações de áudio.Users don't have an unlimited capacity for audio information.

  • Cada som deve comunicar informações valiosas e específicas.Each sound should communicate specific, valuable information.
  • Quando seu aplicativo toca um som para informar o usuário, reduza temporariamente o volume de outros sons.When your app plays a sound to inform the user, temporarily reduce the volume of other sounds.
  • Para sons de botão de mouse (consulte as informações a seguir), adicione um atraso de tempo para evitar o disparo excessivo de som.For button hover sounds (see the following information), add a time delay to prevent excessive sound triggering.

Não confie exclusivamente em sonsDon't rely solely on sounds

Os sons que são usados bem são valiosos para os usuários.Sounds that are used well are valuable to your users. Mas certifique-se de que seu aplicativo é utilizável mesmo com o som desativado.But make sure your application is usable even with the sound turned off.

  • Os usuários podem estar com deficiência auditiva.Users may be hearing impaired.
  • Seu aplicativo pode ser usado em um ambiente alto.Your application may be used in a loud environment.
  • Os usuários podem ter preocupações de privacidade ou outros motivos para desabilitar o áudio do dispositivo.Users may have privacy concerns or other reasons to disable device audio.

Como sonify interaçõesHow to sonify interactions

Os tipos de interação na realidade misturada incluem gesto, manipulação direta e voz.Interaction types in mixed reality include gesture, direct manipulation, and voice. Use as características sugeridas a seguir para selecionar ou criar sons para essas interações.Use the following suggested characteristics to select or design sounds for these interactions.

Interações de gestoGesture interactions

Em realidade misturada, os usuários podem interagir com botões usando um mouse.In mixed reality, users may interact with buttons by using a mouse. As ações de botão geralmente ocorrem quando o usuário libera, em vez de pressionar o botão para dar ao usuário a oportunidade de cancelar a interação.Button actions generally occur when the user releases rather than presses the button to give the user a chance to cancel the interaction. Use sons para reforçar esses estágios.Use sounds to reinforce these stages. Para ajudar os usuários a se destinarem a botões distantes, considere também o uso de um som focalizado em ponteiro.To assist users in targeting distant buttons, also consider using a pointer-hover sound.

  • Botão-pressionar sons deve ser curto, tactile "clique".Button-press sounds should be a short, tactile "click."
    Exemplo: MRTK_ButtonPress. wavExample: MRTK_ButtonPress.wav
  • Botão-"Inpress" sons deve ter uma aparência tactile semelhante.Button-"unpress" sounds should have a similar tactile feel. Uma densidade mais alta do que a prensa tipográfica reforça a sensação de conclusão.A higher pitch than the press sound reinforces the sense of completion.
    Exemplo: MRTK_ButtonUnpress. wavExample: MRTK_ButtonUnpress.wav
  • Para sons de foco, considere usar um som sutil e não ameaçante, como um Thud ou um choque de baixa frequência.For hover sounds, consider using a subtle and non-threatening sound, such as a low-frequency thud or bump.

Manipulação diretaDirect manipulation

No HoloLens 2, o controle de mão articulado dá suporte à manipulação direta de elementos de interface do usuário.On HoloLens 2, articulated hand tracking supports direct manipulation of user-interface elements. Os sons são importantes quando não há outros comentários físicos.Sounds are important when there's no other physical feedback.

Um som de pressionamento de botão é importante porque o usuário não recebe nenhuma outra indicação quando chega à parte inferior do traço de chave.A button press sound is important because the user doesn't get any other indication when they reach the bottom of the key stroke. Indicadores de som de viagem de chave podem ser pequenos, sutis e obstruído.Sound indicators of key travel can be small, subtle, and occluded. Assim como ocorre com interações de gesto, os pressionamentos de botão devem ter um som curto, tactile, como um clique.As with gesture interactions, button presses should get a short, tactile sound like a click. As reimpressões devem ter um som de clique semelhante, mas com densidade elevada.Unpresses should have a similar click sound but with raised pitch.

É difícil confirmar visualmente uma ação de captação ou liberação.It's difficult to visually confirm a grab or release action. A mão do usuário geralmente estará no caminho de qualquer efeito visual, e os objetos apto para não têm uma analogia visual do mundo real de "captação".The user's hand will often be in the way of any visual effect, and hard-bodied objects lack a real-world visual analog of "grabbing." Os sons podem comunicar efetivamente as interações de captura e liberação bem-sucedidas.Sounds can effectively communicate successful grab and release interactions.

  • As ações de captura devem ter um som de tactile curto e um pouco muffled que solicite a ideia de fechamento de um objeto.Grab actions should have a short, somewhat-muffled tactile sound that prompts the idea of fingers closing around an object. Às vezes, há também um som "whoosh" que leva até o som de captação para comunicar o movimento do lado.Sometimes there's also a "whoosh" sound that leads up to the grabbing sound to communicate the motion of the hand.
    Exemplo: MRTK_Move_Start. wavExample: MRTK_Move_Start.wav
  • As ações de liberação devem ter um som tactile e curto.Release actions should get a similarly short and tactile sound. Isso geralmente é mais baixo do que o som de captura e na ordem inversa, com um impacto e, em seguida, um "whoosh" para se comunicar que o objeto está sendo liquidado no lugar.It's usually lower pitched than the grab sound and in reverse order, with an impact and then a "whoosh" to communicate that the object is settling into place.
    Exemplo: MRTK_Move_End. wavExample: MRTK_Move_End.wav

Uma interação de desenho deve obter um som persistente, em loop com o volume determinado pelo movimento da mão do usuário.A drawing interaction should get a persistent, looping sound with volume determined by the user's hand movement. Ele deve ser silencioso quando a mão do usuário ainda estiver e mais alta quando a mão estiver se movendo rapidamente.It should be silent when the user's hand is still and loudest when the hand is moving quickly.

Interações de vozVoice interactions

As interações de voz geralmente têm elementos visuais sutis.Voice interactions often have subtle visual elements. Use sons para reforçar os estágios de interação.Use sounds to reinforce interaction stages. Talvez você queira usar sons com mais tons para diferenciá-los dos sons de gesto e de manipulação direta.You may want to use more-tonal sounds to distinguish them from gesture and direct-manipulation sounds.

  • Use um tom de som positivo para confirmações de comando de voz.Use a positive-sounding tone for voice command confirmations. Os tons crescentes e os principais intervalos musicais entram em vigor.Rising tones and major musical intervals are effective.
  • Use um tom de som menor e menos positivo para falhas de comando de voz.Use a shorter, less-positive-sounding tone for voice command failures. Evite sons negativos.Avoid negative sounds. Em vez disso, use um som mais percussive, neutro para comunicar que o aplicativo está se movendo da interação.Instead, use a more percussive, neutral sound to communicate that the application is moving on from the interaction.
  • Se seu aplicativo tiver uma palavra de ativação, use um tom curto e AdaBoost quando o dispositivo começar a escutar.If your application has a wake word, use a short, gentle tone when the device starts listening. Use um som de loop sutil enquanto o aplicativo estiver ouvindo.Use a subtle looping sound while the application is listening.

NotificaçõesNotifications

As notificações sinalizam alterações no estado do aplicativo e outros eventos que o usuário não iniciou.Notifications signal application-state changes and other events the user didn't initiate. As alterações de estado podem incluir conclusões de processo, mensagens e chamadas telefônicas.State changes can include process completions, messages, and phone calls.

Em realidade misturada, os objetos às vezes se movem para fora do campo de exibição do usuário.In mixed reality, objects sometimes move out of the user's field of view. Emparelhe a movimentação de objetos animados com um som espacial que depende do tipo de objeto e da velocidade de movimento.Pair moving animated objects with a spatialized sound that depends on the object type and speed of motion.

  • Ele ajuda a reproduzir um som espacial no final de uma animação para informar o usuário sobre a nova posição do objeto.It helps to play a spatialized sound at the end of an animation to inform the user of the object's new position.
  • Para movimentos graduais, um som "whoosh" durante a movimentação ajuda o usuário a controlar o objeto.For gradual movements, a "whoosh" sound during movement helps the user track the object.

Os sons de notificação de mensagem podem ser ouvidos repetidamente, às vezes em uma rápida sucessão.Message notification sounds may be heard repeatedly, sometimes in quick succession. É importante que eles não se destaquem.It's important they don't stand out or sound harsh. Os sons de tons positivos do intervalo médio entram em vigor.Mid-range positive tonal sounds are effective.

  • Os sons de chamada de entrada devem ter qualidades semelhantes a um toque de telefone celular.Incoming-call sounds should have similar qualities to a cell phone ringtone. Esses sons estão em loop de frases musicais que são executadas até que o usuário responda à chamada.These sounds are looping musical phrases that play until the user answers the call.
  • A conexão de comunicação de voz e a desconexão devem ter um som tonal curto.Voice communication connection and disconnection should have a short, tonal sound. O som de conexão deve ser um tom positivo para indicar uma conexão bem-sucedida.The connection sound should be a positive tone to indicate a successful connection. O som de desconexão deve ser um som neutro para indicar a conclusão da chamada.The disconnection sound should be a neutral sound to indicate completion of the call.

A espacial da manipulaçãoHandle spatialization

A espacialização usa fones estéreo ou alto-falantes para inserir sons no mundo de realidade misturada.Spatialization uses stereo headphones or speakers to place sounds in the mixed-reality world.

O que parece ter uma espacialWhich sounds to spatialize

Um som deve ser espacial quando estiver associado a um evento que tenha um local espacial.A sound should be spatialized when it's associated with an event that has a spatial location. Isso inclui a interface do usuário, as vozes de ia incorporadas e os indicadores visuais.This includes UI, embodied AI voices, and visual indicators.

Espacialize os elementos da interface do usuário para ajudar a confundir o "espaço" do Sonic do usuário, limitando o número de sons estéreo que eles ouvem.Spatialize user interface elements to help declutter the user's sonic "space" by limiting the number of stereo sounds that they hear. As interações de manipulação, como toque, captura e liberação, se sentem mais naturais quando os comentários de áudio são espaciais.Manipulation interactions such as touching, grabbing, and releasing feel more natural when audio feedback is spatialized. Considere as seguintes informações sobre a atenuação de distância para esses elementos.Consider the following information about distance attenuation for these elements.

Espaciale os indicadores visuais e as vozes de ia incorporadas para informar os usuários de forma intuitiva quando essas coisas estiverem fora do campo de exibição.Spatialize visual indicators and embodied AI voices to intuitively inform users when these things are outside the field of view.

Por outro lado, evite a espacialização para vozes de ia sem face e outros elementos que não têm um local espacial bem definido.In contrast, avoid spatialization for faceless AI voices and other elements that lack a well-defined spatial location. A espacialização sem um elemento visual relacionado pode distrair os usuários de pensar que há um elemento visual que ele não pode localizar.Spatialization without a related visual element can distract users into thinking there's a visual element that they can't find.

A espacialização vem com algum custo de CPU.Spatialization does come with some CPU cost. Muitos aplicativos têm no máximo dois sons reproduzidos simultaneamente.Many applications have at most two sounds playing simultaneously. O custo da espacial nesse caso provavelmente é insignificante.The cost of spatialization in that case is likely negligible. Você pode usar o monitor de taxa de quadros MRTK para avaliar o impacto da adição de espacial.You can use the MRTK frame rate monitor to judge the impact of adding spatialization.

Quando e como aplicar atenuação baseada em distânciaWhen and how to apply distance-based attenuation

No mundo físico, os sons mais distantes são mais silenciosos.In the physical world, sounds that are farther away are quieter. O mecanismo de áudio pode modelar essa atenuação com base na distância de origem.Your audio engine can model this attenuation based on the source distance. Use a atenuação baseada em distância ao comunicar informações relevantes.Use distance-based attenuation when it communicates relevant information.

As distâncias para indicadores visuais, hologramas animados e outros sons informativos são relevantes para o usuário.The distances to visual indicators, animated holograms, and other informative sounds are relevant to the user. Use atenuação baseada em distância para fornecer indicações intuitivas.Use distance-based attenuation to intuitively provide cues.

Ajuste a curva de atenuação de cada fonte para se ajustar ao tamanho dos espaços do mundo de realidade misturada.Adjust the attenuation curve for each source to fit the size of your mixed-reality world's spaces. A curva padrão do mecanismo de áudio geralmente é destinada a espaços grandes (até metade de Kilometer).Your audio engine's default curve is often meant for large (up to half-kilometer) spaces.

Sons que reforçam os estágios progressivos de ações de botão e outras interações não devem ter a atenuação aplicada.Sounds that reinforce the progressive stages of button actions and other interactions shouldn't get attenuation applied. Os efeitos de reforçamento desses sons são mais importantes do que comunicar a distância com o botão.The reinforcing effects of these sounds are more important than communicating the distance to the button. As variações podem ser discadas, especialmente com teclados, quando muitos cliques de botão podem ser ouvidos sucessivamente.Variations can be distracting, especially with keyboards, when many button clicks may be heard in succession.

Qual tecnologia de espacial deve ser usadaWhich spatialization technology to use

Com fones de ouvido ou os alto-falantes do HoloLens, use tecnologias de espacial com base em HRTF (função de transferência relacionada à carga).With headphones or the HoloLens speakers, use head-related transfer function (HRTF)-based spatialization technologies. Essas tecnologias modelam a propagação sonora em toda a cabeça do mundo físico.These technologies model the sound propagation around the head in the physical world. Mesmo quando uma fonte de som está no lado distante do cabeçalho de um, o som é propagado para o Ear distante com algumas atenuações e atrasos.Even when a sound source is on the far side of one's head, sound propagates to the distant ear with some attenuation and delay. O movimento panorâmico do orador depende apenas da atenuação e aplica a atenuação total no Ear esquerdo quando sons estão no lado direito e o contrário.Speaker panning relies only on attenuation and applies total attenuation in the left ear when sounds are on the right side, and the other way around. Essa técnica pode ser desconfortável para ouvintes "audição normais" e inacessíveis para ouvintes que têm deficiência auditiva em um Ear.This technique can be uncomfortable for "normal hearing" listeners and inaccessible for listeners who have hearing impairment in one ear.

Próximas etapasNext steps