Bewährte Methoden für räumlichen Sound

  • Artikel

Wenn Sie noch nicht mit Raumklang arbeiten, lesen Sie unsere Übersicht über räumlichen Sound.

Sie können Sound verwenden, um das mentale Modell des Anwendungszustands des Benutzers zu informieren und zu verstärken. Verwenden Sie bei Bedarf die Raumräumung, um Sounds in der Mixed Reality-Welt zu platzieren. Wenn Sie das Audit und das Visuelle auf diese Weise verbinden, vertiefen Sie die intuitive Natur der Interaktionen und erhöhen das Vertrauen der Benutzer.

Wann Sounds hinzugefügt werden sollen

Mixed Reality-Anwendungen haben oft einen größeren Bedarf an Sound als 2D-Apps, da sie keine taktile Schnittstelle haben. Fügen Sie Sounds hinzu, wenn sie den Benutzer informieren oder Interaktionen verstärken.

Informieren und verstärken

  • Verwenden Sie für Ereignisse, die nicht vom Benutzer initiiert werden, z. B. Benachrichtigungen, sound, um den Benutzer darüber zu informieren, dass eine Änderung aufgetreten ist.
  • Interaktionen können mehrere Phasen aufweisen. Verwenden Sie Sound, um Phasenübergänge zu verstärken.

Sehen Sie sich die folgenden Beispiele für Interaktionen, Ereignisse und vorgeschlagene Klangeigenschaften an.

Übungsbeschränkung

Benutzer verfügen nicht über eine unbegrenzte Kapazität für Audioinformationen.

  • Jeder Sound sollte spezifische, wertvolle Informationen vermitteln.
  • Wenn Ihre App einen Sound wiedergibt, um den Benutzer zu informieren, verringern Sie vorübergehend die Lautstärke anderer Sounds.
  • Fügen Sie für Schaltflächen-Hoversounds (siehe die folgenden Informationen) eine Zeitverzögerung hinzu, um übermäßige Soundauslösung zu verhindern.

Verlassen Sie sich nicht nur auf Sounds

Sounds, die gut verwendet werden, sind für Ihre Benutzer von Nutzen. Stellen Sie jedoch sicher, dass Ihre Anwendung auch bei ausgeschaltetem Sound verwendbar ist.

  • Benutzer können schwerhörig sein.
  • Ihre Anwendung kann in einer lauten Umgebung verwendet werden.
  • Benutzer haben möglicherweise Datenschutzbedenken oder andere Gründe für die Deaktivierung von Geräteaudio.

Sonifizieren von Interaktionen

Interaktionstypen in Mixed Reality umfassen Gesten, direkte Manipulation und Stimme. Verwenden Sie die folgenden vorgeschlagenen Merkmale, um Sounds für diese Interaktionen auszuwählen oder zu entwerfen.

Gesteninteraktionen

In Mixed Reality können Benutzer mit Schaltflächen mithilfe einer Maus interagieren. Schaltflächenaktionen treten in der Regel auf, wenn der Benutzer die Schaltfläche loslässt, anstatt sie zu drücken, um dem Benutzer die Möglichkeit zu geben, die Interaktion abzubrechen. Verwenden Sie Sounds, um diese Phasen zu verstärken. Um Benutzer bei der Ausrichtung entfernter Schaltflächen zu unterstützen, sollten Sie auch einen Zeiger-Hover-Sound verwenden.

  • Tastendruck-Sounds sollten ein kurzes, taktiles "Klick" sein.
    Beispiel: MRTK_ButtonPress.wav
  • Button-"unpress" Sounds sollten ein ähnliches taktiles Gefühl haben. Eine höhere Tonhöhe als der Pressesound verstärkt das Gefühl der Vervollständigung.
    Beispiel: MRTK_ButtonUnpress.wav
  • Für Hoversounds sollten Sie einen subtilen und nicht bedrohlichen Sound verwenden, z. B. einen niederfrequenten Schlag oder eine Stoßbewegung.

Direkte Manipulation

Auf HoloLens 2 unterstützt die artikulierte Handverfolgung die direkte Manipulation von Benutzeroberflächenelementen. Sounds sind wichtig, wenn es kein anderes physisches Feedback gibt.

Ein Tastendrucksound ist wichtig, da der Benutzer keinen anderen Hinweis erhält, wenn er den unteren Rand des Tastenstrichs erreicht. Soundindikatoren für den Schlüsselwechsel können klein, subtil und verdeckt sein. Wie bei Gesteninteraktionen sollte das Drücken von Schaltflächen einen kurzen, taktilen Sound wie ein Klick erhalten. Unpresss sollten einen ähnlichen Klicksound haben, aber mit erhöhter Tonhöhe.

Es ist schwierig, eine Aktion zum Greifen oder Freigeben visuell zu bestätigen. Die Hand des Benutzers befindet sich oft im Weg zu jedem visuellen Effekt, und hartkörperige Objekte fehlen ein reales visuelles Analogon des "Greifens". Sounds können effektiv erfolgreiche Zugriffe und Freigabeinteraktionen kommunizieren.

  • Grabaktionen sollten einen kurzen, etwas guffigen taktilen Sound aufweisen, der die Vorstellung von Fingern um ein Objekt herum anregt. Manchmal gibt es auch einen "Whoosh"-Sound, der zum packenden Sound führt, um die Bewegung der Hand zu kommunizieren.
    Beispiel: MRTK_Move_Start.wav
  • Releaseaktionen sollten einen ähnlich kurzen und taktilen Sound erhalten. Es ist in der Regel niedriger als der Greifsound und in umgekehrter Reihenfolge, mit einem Aufprall und dann einem "Whoosh", um zu kommunizieren, dass das Objekt sich an ort und stelle.
    Beispiel: MRTK_Move_End.wav

Eine Zeichnungsinteraktion sollte einen dauerhaften, schleifenden Sound erhalten, dessen Lautstärke durch die Handbewegung des Benutzers bestimmt wird. Es sollte still sein, wenn die Hand des Benutzers noch und am lautesten ist, wenn sich die Hand schnell bewegt.

Sprachinteraktionen

Sprachinteraktionen weisen häufig subtile visuelle Elemente auf. Verwenden Sie Sounds, um Interaktionsphasen zu verstärken. Möglicherweise möchten Sie klanglichere Sounds verwenden, um sie von Gesten- und Direktbearbeitungsgeräuschen zu unterscheiden.

  • Verwenden Sie einen positiv klingenden Ton für Sprachbefehlsbestätigungen. Steigende Töne und große musikalische Intervalle sind effektiv.
  • Verwenden Sie einen kürzeren, weniger positiv klingenden Ton für Sprachbefehlsfehler. Vermeiden Sie negative Sounds. Verwenden Sie stattdessen einen perkussiven, neutraleren Sound, um zu kommunizieren, dass die Anwendung sich von der Interaktion fortbewegt.
  • Wenn Ihre Anwendung über ein Aktivierungswort verfügt, verwenden Sie einen kurzen, sanften Ton, wenn das Gerät mit dem Lauschen beginnt. Verwenden Sie einen subtilen Schleifensound, während die Anwendung lauscht.

Benachrichtigungen

Benachrichtigungen signalisieren Anwendungszustandsänderungen und andere Ereignisse, die der Benutzer nicht initiiert hat. Zustandsänderungen können Prozessabschlüsse, Nachrichten und Telefonanrufe umfassen.

In Mixed Reality bewegen sich Objekte manchmal aus dem Sichtfeld des Benutzers. Koppeln sie bewegte animierte Objekte mit einem räumlichen Sound, der vom Objekttyp und der Bewegungsgeschwindigkeit abhängt.

  • Es hilft, einen räumlichen Sound am Ende einer Animation wiederzugeben, um den Benutzer über die neue Position des Objekts zu informieren.
  • Bei schrittweisen Bewegungen hilft ein "Whoosh"-Sound während der Bewegung dem Benutzer, das Objekt nachzuverfolgen.

Nachrichtenbenachrichtigungsgeräusche können wiederholt, manchmal in schneller Folge gehört werden. Es ist wichtig, dass sie nicht auffallen oder hart klingen. Positive Klangtöne im Mittleren Bereich sind effektiv.

  • Eingehende Anrufe sollten ähnliche Qualitäten wie ein Handy-Klingelton aufweisen. Diese Sounds sind schleifende musikalische Ausdrücke, die wiedergegeben werden, bis der Benutzer den Anruf beantwortet.
  • Die Sprachkommunikationsverbindung und -trennung sollte einen kurzen tonalen Sound aufweisen. Der Verbindungssound sollte ein positiver Ton sein, um auf eine erfolgreiche Verbindung hinzuweisen. Der Trennungssound sollte ein neutraler Sound sein, um den Abschluss des Anrufs anzuzeigen.

Behandeln der Räumlichen Verräumung

Bei der Raumräumung werden Stereokopfhörer oder Lautsprecher verwendet, um Sounds in der Mixed Reality-Welt zu platzieren.

Welche Sounds sollen verräumt werden?

Ein Sound sollte verräumt werden, wenn er einem Ereignis zugeordnet ist, das über einen räumlichen Ort verfügt. Dies umfasst ui, verkörperte KI-Stimmen und visuelle Indikatoren.

Verräumen Sie Benutzeroberflächenelemente , um den akustischen "Raum" des Benutzers zu entrümmen, indem sie die Anzahl der Stereosounds, die er hört, einschränken. Manipulationsinteraktionen wie Berühren, Greifen und Freigeben wirken natürlicher, wenn Audiofeedback verräumt wird. Beachten Sie die folgenden Informationen zur Entfernungsdämpfung für diese Elemente.

Verräumen Sie visuelle Indikatoren und verkörperte KI-Stimmen , um Benutzer intuitiv zu informieren, wenn sich diese Dinge außerhalb des Sichtfelds befinden.

Vermeiden Sie im Gegensatz dazu die Raumräumung für gesichtslose KI-Stimmen und andere Elemente, die keinen klar definierten räumlichen Ort haben. Die Raumräumung ohne ein verwandtes visuelles Element kann Benutzer zu dem Denken ablenken, dass es ein visuelles Element gibt, das sie nicht finden können.

Die Raumräumung ist mit einigen CPU-Kosten verbunden. In vielen Anwendungen werden höchstens zwei Sounds gleichzeitig wiedergegeben. Die Kosten für die Raumräumung sind in diesem Fall wahrscheinlich vernachlässigbar. Sie können den MRTK-Frameratenmonitor verwenden, um die Auswirkungen des Hinzufügens der Raumordnung zu beurteilen.

Wann und wie die entfernungsbasierte Dämpfung angewendet wird

In der physischen Welt sind weiter entfernte Geräusche leiser. Ihre Audio-Engine kann diese Dämpfung basierend auf der Quellentfernung modellieren. Verwenden Sie die entfernungsbasierte Dämpfung, wenn relevante Informationen übermittelt werden.

Die Entfernungen zu visuellen Indikatoren, animierten Hologrammen und anderen informativen Klängen sind für den Benutzer relevant. Verwenden Sie die entfernungsbasierte Dämpfung, um intuitiv Hinweise zu geben.

Passen Sie die Dämpfungskurve für jede Quelle an die Größe der Räume Ihrer Mixed Reality-Welt an. Die Standardkurve Ihrer Audio-Engine ist häufig für große Räume (bis zu einem halben Kilometer) vorgesehen.

Sounds, die die progressiven Phasen von Schaltflächenaktionen und anderen Interaktionen verstärken, sollten nicht angewendet werden. Die verstärkenden Effekte dieser Sounds sind wichtiger als die Kommunikation der Entfernung zum Knopf. Variationen können ablenkend sein, insbesondere bei Tastaturen, wenn viele Tastenklicks nacheinander zu hören sind.

Welche Raumräumungstechnologie verwendet werden soll

Verwenden Sie bei Kopfhörern oder den HoloLens-Lautsprechern hrTF-basierte Raumräumungstechnologien (Head Related Transfer Function, HRTF). Diese Technologien modellieren die Schallausbreitung um den Kopf in der physischen Welt. Selbst wenn sich eine Schallquelle auf der anderen Seite des Kopfes befindet, breitet sich der Klang mit einiger Dämpfung und Verzögerung auf das ferne Ohr aus. Das Schwenken des Lautsprechers basiert nur auf der Dämpfung und wendet die totale Dämpfung im linken Ohr an, wenn sich Die Geräusche auf der rechten Seite befinden, und umgekehrt. Diese Technik kann für "normale Hörer" unbequem und für Hörer, die schwer in einem Ohr sind, unzugänglich sein.

Nächste Schritte