Metodtips för rumsligt ljud
Om du inte är nybörjare på att arbeta med rumsligt ljud kan du läsa vår översikt över rumsligt ljud.
Du kan använda ljud för att informera och förstärka användarens mentala modell för programtillstånd. Använd spatialisering när det är lämpligt för att placera ljud i mixad verklighetsvärld. När du ansluter hörseln och det visuella objektet på det här sättet fördjupar du interaktionens intuitiva natur och ökar användarnas förtroende.
När du ska lägga till ljud
Program med mixad verklighet har ofta större behov av ljud än 2D-appar på grund av att de saknar ett taktilt gränssnitt. Lägg till ljud när de informerar användaren eller förstärker interaktioner.
Informera och förstärka
- För händelser som inte initieras av användaren, till exempel meddelanden, använder du ljud för att informera användaren om att en ändring har inträffat.
- Interaktioner kan ha flera steg. Använd ljud för att förstärka fasövergångar.
Se följande exempel på interaktioner, händelser och föreslagna ljudegenskaper.
Begränsning av övning
Användarna har inte obegränsad kapacitet för ljudinformation.
- Varje ljud bör kommunicera specifik, värdefull information.
- När appen spelar upp ett ljud för att informera användaren kan du tillfälligt minska volymen av andra ljud.
- För knapp hovringsljud (se följande information) lägger du till en tidsfördröjning för att förhindra överdriven ljudutlösande.
Förlita dig inte enbart på ljud
Ljud som används väl är värdefulla för dina användare. Men se till att programmet kan användas även när ljudet är avstängt.
- Användare kan vara hörselskadade.
- Programmet kan användas i en hög miljö.
- Användare kan ha sekretessproblem eller andra skäl att inaktivera enhetsljud.
Så här sonifierar du interaktioner
Interaktionstyper i mixad verklighet omfattar gest, direkt manipulering och röst. Använd följande föreslagna egenskaper för att välja eller utforma ljud för dessa interaktioner.
Gestinteraktioner
I mixad verklighet kan användare interagera med knappar med hjälp av en mus. Knappåtgärder inträffar vanligtvis när användaren släpper i stället för att trycka på knappen för att ge användaren en chans att avbryta interaktionen. Använd ljud för att förstärka dessa steg. Om du vill hjälpa användare att rikta in sig på avlägsna knappar bör du också överväga att använda ett pekar-hovringsljud.
- Knapptryckningsljud ska vara ett kort, taktilt "klick".
Exempel: MRTK_ButtonPress.wav - Knapp-"unpress" ljud bör ha en liknande taktil känsla. En högre tonhöjd än pressljudet förstärker känslan av slutförande.
Exempel: MRTK_ButtonUnpress.wav - För hovringsljud bör du överväga att använda ett subtilt och icke-hotfullt ljud, till exempel en lågfrekvent duns eller bula.
Direkt manipulering
På HoloLens 2 stöder ledad handspårning direkt manipulering av användargränssnittselement. Ljud är viktiga när det inte finns någon annan fysisk feedback.
Ett knapptryckningsljud är viktigt eftersom användaren inte får någon annan indikation när de når botten av tangentstrecket. Ljudindikatorer för viktiga resor kan vara små, subtila och occluded. Precis som med gestinteraktioner bör knapptryckningar få ett kort, taktilt ljud som ett klick. Unpresses bör ha ett liknande klickljud men med upphöjd tonhöjd.
- Exempel: MRTK_ButtonPress.wav
- Exempel: MRTK_ButtonUnpress.wav
Det är svårt att visuellt bekräfta en borttagnings- eller versionsåtgärd. Användarens hand kommer ofta att vara i vägen för någon visuell effekt, och hårdkroppsobjekt saknar en verklig visuell analog av "grepp". Ljud kan effektivt kommunicera lyckade grab- och versionsinteraktioner.
- Grab-åtgärder bör ha ett kort, något dämpat taktilt ljud som uppmanar tanken på fingrar som stängs runt ett objekt. Ibland finns det också ett "whoosh"-ljud som leder upp till det greppande ljudet för att kommunicera handens rörelse.
Exempel: MRTK_Move_Start.wav - Versionsåtgärder bör få ett lika kort och taktilt ljud. Det är vanligtvis lägre pitched än grab-ljudet och i omvänd ordning, med en inverkan och sedan en "whoosh" för att kommunicera att objektet sätter sig på plats.
Exempel: MRTK_Move_End.wav
En ritningsinteraktion bör få ett beständigt, loopande ljud med volym som bestäms av användarens handrörelse. Den ska vara tyst när användarens hand fortfarande är och högst när handen rör sig snabbt.
Röstinteraktioner
Röstinteraktioner har ofta subtila visuella element. Använd ljud för att förstärka interaktionsstegen. Du kanske vill använda mer tonala ljud för att skilja dem från gest- och direktmanipuleringsljud.
- Använd en ton med positivt klingande ljud för röstkommandobekräftelser. Stigande toner och stora musikaliska intervall är effektiva.
- Använd en kortare, mindre positiv ton för röstkommandofel. Undvik negativa ljud. Använd i stället ett mer slagverk, neutralt ljud för att kommunicera att programmet går vidare från interaktionen.
- Om programmet har ett väckningsord ska du använda en kort, mild ton när enheten börjar lyssna. Använd ett diskret loopljud medan programmet lyssnar .
Meddelanden
Meddelanden signalerar programtillståndsändringar och andra händelser som användaren inte initierade. Tillståndsändringar kan omfatta slutförande av processer, meddelanden och telefonsamtal.
I mixad verklighet flyttas objekt ibland från användarens synfält. Koppla ihop rörliga animerade objekt med ett rumsligt ljud som beror på objekttypen och rörelsehastigheten.
- Det hjälper till att spela upp ett rumsligt ljud i slutet av en animering för att informera användaren om objektets nya position.
- För gradvisa rörelser hjälper ett "whoosh"-ljud under rörelse användaren att spåra objektet.
Meddelandemeddelandeljud kan höras upprepade gånger, ibland i snabb följd. Det är viktigt att de inte sticker ut eller låter hårda. Positiva tonljud i mellanintervallet är effektiva.
- Inkommande samtal ljud bör ha liknande egenskaper som en mobiltelefon ringsignal. Dessa ljud loopar musikaliska fraser som spelas upp tills användaren svarar på samtalet.
- Röstkommunikationsanslutning och frånkoppling ska ha ett kort tonljud. Anslutningsljudet bör vara en positiv ton för att indikera en lyckad anslutning. Frånkopplingsljudet ska vara ett neutralt ljud för att indikera att samtalet har slutförts.
Hantera spatialisering
Spatialisering använder stereohörlurar eller högtalare för att placera ljud i mixad verklighet.
Vilket ljud som ska rumsligiseras
Ett ljud ska spatialiseras när det är associerat med en händelse som har en rumslig plats. Detta inkluderar användargränssnitt, inbäddade AI-röster och visuella indikatorer.
Spatialisera användargränssnittselement för att hjälpa till att rensa användarens soniska "utrymme" genom att begränsa antalet stereoljud som de hör. Manipuleringsinteraktioner som att röra, ta tag i och släppa känns mer naturliga när ljudfeedback rumsligas. Överväg följande information om avståndsdämpning för dessa element.
Spatialisera visuella indikatorer och inbäddade AI-röster för att intuitivt informera användarna när dessa saker ligger utanför synfältet.
Undvik däremot spatialisering för ansiktslösa AI-röster och andra element som saknar en väldefinierad rumslig plats. Spatialisering utan ett relaterat visuellt element kan distrahera användare att tro att det finns ett visuellt element som de inte kan hitta.
Spatialisering medför vissa CPU-kostnader. Många program har högst två ljud som spelas upp samtidigt. Kostnaden för rumsligisering i så fall är sannolikt försumbar. Du kan använda MRTK-bildfrekvensövervakaren för att bedöma effekten av att lägga till spatialisering.
När och hur du tillämpar avståndsbaserad dämpning
I den fysiska världen är ljud som ligger längre bort tystare. Ljudmotorn kan modellera den här dämpningen baserat på källavståndet. Använd avståndsbaserad dämpning när den förmedlar relevant information.
Avstånden till visuella indikatorer, animerade hologram och andra informativa ljud är relevanta för användaren. Använd avståndsbaserad dämpning för att intuitivt tillhandahålla signaler.
Justera dämpningskurvan för varje källa så att den passar storleken på din mixade verklighetsvärlds utrymmen. Ljudmotorns standardkurva är ofta avsedd för stora (upp till halv kilometer) utrymmen.
Ljud som förstärker de progressiva stadierna av knappåtgärder och andra interaktioner bör inte få dämpning tillämpad. De förstärkande effekterna av dessa ljud är viktigare än att kommunicera avståndet till knappen. Variationer kan vara störande, särskilt med tangentbord, när många knappklick kan höras i följd.
Vilken spatialiseringsteknik som ska användas
Med hörlurar eller HoloLens-högtalare använder du head-related transfer function (HRTF)-baserade spatialiseringstekniker. Dessa tekniker modellerar ljudspridningen runt huvudet i den fysiska världen. Även när en ljudkälla är på bortre sidan av huvudet sprids ljudet till det avlägsna örat med viss dämpning och fördröjning. Talarpanorering förlitar sig endast på dämpning och tillämpar total dämpning i vänster öra när ljuden är på höger sida och tvärtom. Denna teknik kan vara obekväm för "normal hörsel" lyssnare och otillgängliga för lyssnare som är hörselskadade i ett öra.