Hangbemenet

Szolgáltatás HoloLens (1. generációs) HoloLens 2. Modern headsetek
Hangbemenet ✔️ ✔️ ✔️ (mikrofonnal)

A "select" parancs

HoloLens (1. generációs)

Még anélkül is, hogy kimondottan hangtámogatást ad az alkalmazáshoz, a felhasználók egyszerűen a "select" rendszerhangparancs használatával aktiválják a hologramokat. Ez ugyanúgy viselkedik, mint a légi koppintás a HoloLens, a választógombot a HoloLens-kattintással, vagy az eseményindító lenyomásával egy Windows Mixed Reality vezérlőn. Egy hang hangját fogja hallatni, és megerősítésként megjelenik egy elemleírás, amely a "select" (kijelölés) lehetőséget tartalmazza. A "Select" funkciót egy alacsony töltöttségi szintű kulcsszóészlelési algoritmus engedélyezi, ami azt jelenti, hogy bármikor ki lehet mondani az akkumulátor töltöttségére gyakorolt minimális hatás mellett. Akár a "select" szót is ki is használhatja a saját kezűleg.



HoloLens 2

Ha a 2. HoloLens a "select" hangparancsot, először fel kell hoznia a tekintet kurzorát a mutatóként való használathoz. A parancs, amely ezt a parancsot hozza fel, könnyen vissza lehet jegyezhető – csak mondja ki a "select" parancsot.

A módból való kilépéshez használja ismét a kézzel a levegőre koppintva, egy gombhoz lépve, az önajátszással vagy a rendszer kézmozdulatával.

Kép: A hangparancs kiválasztásához mondja ki a "select" parancsot

A felhasználó a



Hey Cortana

A "Hey Cortana" Cortana bármikor előhozhatja. Nem kell megvárni, amíg úgy tűnik, hogy továbbra is feltené a kérdését, vagy utasítást ad neki. Próbálja meg például egyetlen mondatban Cortana "Hey Cortana, what is the weather?" (Milyen az időjárás?) kérdést. Ha további információra van Cortana, és hogy mire használhatja, kérdezze meg. Mondja a "Hey Cortana, what can i say?" (Mit is mondjak hozzá?) mondja, ő pedig le fogja dolgozni a működő és javasolt parancsokat. Ha már az alkalmazás Cortana, válassza az oldalsávon a ? ikont, hogy ugyanezt a menüt megjelenik.

HoloLens parancsok használata

  • "Mit mondjak?"
  • "Ugrás a Start menüre" – a Bloom helyett a Start menübe
  • "Indítás"
  • "Áthelyezés ide"
  • "Képpel"
  • "Rögzítés kezdete"
  • "Rögzítés leállítása"
  • "Show hand ray"
  • "A kéz sugárának elrejtése"
  • "A fényerejének növelése"
  • "A fényerejének csökkentése"
  • "Kötet növelése"
  • "Kötet csökkentése"
  • "Mute" vagy "Unmute"
  • "Az eszköz leállít"
  • "Az eszköz újraindítása"
  • "Ugrás alvó üzemmódra"
  • "Mennyi az idő?"
  • "Mennyi akkumulátor maradt?"


"Lásd, mondja ki"

HoloLens rendelkezik egy "see it, say it" (lásd, mondja ki) hangbemeneti modellel, ahol a gombok feliratai megszabadják a felhasználók számára, hogy milyen hangparancsokat is mondjanak. Ha például egy alkalmazásablakot nyit meg a HoloLens (1. generációs) alkalmazásban, a felhasználó az "Adjust" paranccsal módosíthatja az alkalmazás pozícióját a világon.

Kép: A felhasználó az Alkalmazássávon látható "Beállítás" parancsot használhatja az alkalmazás pozíciójának módosításához

Hely
Alkalmazásablakok vagy hologramok esetén a felhasználó az Alkalmazássávon látható


Ha az alkalmazások követik ezt a szabályt, a felhasználók könnyen megértheti, mit kell mondani a rendszer vezérléséhez. Miközben a HoloLens (1. generációs) egyik gombjára néz, egy "hangdedukál" elemleírás jelenik meg, amely egy másodperc után megjelenik, ha a gomb hangalapú, és megjeleníti a parancsot, hogy "nyomja le". Ha a 2. HoloLens elemleírásokat is meg kell mutatnia, a "select" vagy a "What can I say" (Mit mondjak) üzenet használatával mutasson a hangkurzorra (Lásd a képet).

Kép: "Lásd, mondja ki" parancsok jelennek meg a gombok alatt

Tekintse meg, mondjuk, hogy a parancsok a gombok alatt jelennek meg



Hangparancsok a hologram gyors kezeléshez

A hologramra nézve számos hangparancsot el lehet mondani a manipulációs feladatok gyors elvégzéséhez. Ezek a hangparancsok a világ különböző táján elhelyezett alkalmazásablakok és 3D-objektumok esetén működnek.

Hologrammanipulációs parancsok

  • Face me (Face me)
  • Nagyobb | Növel
  • Kisebb

A HoloLens 2.-ben természetesebb interakciókat is létrehozhat a tekintetével együtt, amely implicit módon környezeti információt nyújt arról, hogy mire hivatkozik. Például egy hologramra rávehet egy "put this"(helyezze el ezt) szót, majd nézze át, hová szeretné tenni, és a következőt: "ide". Vagy egy összetett gép holografikus részét is átveszve a következőt: "adjon több információt erről".

Hangparancsok felfedezése

Egyes parancsok, például a fenti gyors manipuláció parancsai, rejtve maradnak. Ha meg szeretne ismerkedni a használható parancsokkal, tekintsen egy objektumra, és mondja ki, hogy "mit mondjak?". Megjelenik a lehetséges parancsok listája. A fejre ható kurzorral is körültekinthet, és az ön előtt lévő gombokhoz használhatja a hang elemleírását.

Ha teljes listát szeretne, mondja ki bármikor a "Show all commands" (Az összes parancs megjelenítése) parancsot.

Diktálás

A légi koppintásos gépelés helyett a hangdiktálás hatékonyabbá teszi, ha szöveget ad meg egy alkalmazásban. Ez jelentősen felgyorsíthatja a bemenetet, és kevesebb erőfeszítést igényel a felhasználó számára.

A hang diktálása a mikrofongombbal kezdődik
A hang diktálása a billentyűzet mikrofon gombjának kiválasztásával kezdődik

Ha a holografikus billentyűzet aktív, gépelés helyett átválthat diktálás módra. Az első lépésekhez válassza a szövegbeviteli mező oldalán található mikrofont.

Hangparancsok hozzáadása az alkalmazáshoz

Fontolja meg hangparancsok hozzáadását az Ön által buildként felhozott felhasználói élményhez. A hang hatékony módja a rendszer és az alkalmazások vezérlésének. Mivel a felhasználók különböző dialektusokkal és ékezetekkel beszélnek, a beszédszavak helyes megválasztése lehetővé teszi, hogy a felhasználók parancsait egyértelműen értelmezzék.

Ajánlott eljárások

Az alábbiakban néhány olyan gyakorlatot olvashat, amelyek segítik a zökkenőmentes beszédfelismerést.

  • Rövid parancsok használata – Ha lehetséges, két vagy több szótag kulcsszavakat válasszon. Az egystagú szavak általában különböző magánhangzó hangokat használnak, ha különböző ékezetű személyek beszélik őket. Például: A "Videó lejátszása" jobb, mint a "Jelenleg kiválasztott videó lejátszása"
  • Egyszerű szókincs használata – Például: A "Megjegyzés megjelenítése" jobb, mint a "Show placard"
  • Győződjön meg arról, hogy a parancsok nem károsak – Győződjön meg arról, hogy a beszédparancsok nem károsak, és könnyen visszavonhatók, ha egy másik, a felhasználó közelében beszélő személy véletlenül elindít egy parancsot.
  • Hasonló hangú parancsok elkerülése – Ne regisztráljon több, hasonlónak hangú beszédparancsot. Például: A "Show more" (Több megjelenítése) és a "Show store" (Áruház megjelenítése) is hasonló hangú lehet.
  • Az alkalmazás regisztrációjának a regisztrációja, ha nem használja – Ha az alkalmazás nincs olyan állapotban, amelyben egy adott beszédparancs érvényes, fontolja meg az alkalmazás regisztrációjának a regisztrációját, hogy a többi parancs ne legyen összekeverve az adott paranccsal.
  • Tesztelés különböző ékezetekkel – Tesztelje az alkalmazást különböző ékezetű felhasználókkal.
  • Hangparancsok konzisztenciájának fenntartása – Ha a "Vissza" az előző oldalra kerül, akkor ezt a viselkedést az alkalmazásokban is fenn kell tartania.
  • Rendszerparancsok használatának elkerülése – A következő hangparancsok vannak fenntartva a rendszer számára, ezért ne használja őket az alkalmazásokban:
    • "Hey Cortana"
    • "Select"
    • "Ugrás a kezdéshez"

A hangbemenet előnyei

A hangbemenet természetes módja a szándékok kommunikációnak. A hang különösen hasznos a felületbejárások esetén, mivel segít a felhasználóknak átvágni egy felület több lépését. Előfordulhat, hogy a felhasználó egy weblap megtekintése közben azt mondja, hogy "visszamenni", ahelyett, hogy fel kellene mennie, és megnyomni a vissza gombot az alkalmazásban. Ez a kis időmegtakarítás erőteljes érzelmi hatással van a felhasználó élményre való érzékelésében, és egy kis szupererőt ad nekik. A hang használata akkor is kényelmes beviteli módszer, ha a karunk megtelt vagy többfeladatos. Olyan eszközökön, amelyeken nehéz a billentyűzettel gépelni, a hangdiktálás hatékony alternatíva lehet a szövegbevitelhez. Végül pedig bizonyos esetekben, amikor a tekintet és a kézmozdulat pontosságának tartománya korlátozott, a hang segíthet a felhasználó szándékának eloszlatásában.

A hang használata milyen előnyöket ad a felhasználónak

  • Csökkenti az időt – hatékonyabbá teszi a cél célját.
  • A munkamennyiség minimalizálása – a feladatok gördülékenyebbnek és egyszerűbbnek kell lennie.
  • Csökkenti a kognitív terhelést – intuitív, könnyen elsajátítható és megjegyezni.
  • Ez társadalmilag elfogadható – bele kell illeszkedni a társadalmi viselkedési normákba.
  • Rutinszerű – a hangból könnyen szokás szerinti viselkedéssé válhat.

A hangbemenet kihívásai

Bár a hangbemenet nagyszerűen használható számos különböző alkalmazáshoz, számos kihívással is szembesül. A hangbemenet előnyeinek és kihívásainak megértése lehetővé teszi az alkalmazásfejlesztők számára, hogy intelligensebb döntéseket hozzanak a hangbemenet használatának módja és módja terén, és nagyszerű felhasználói élményt hozzanak létre.

Hangbemenet a folyamatos bemenet-vezérléshez A finomhangolt vezérlés az egyik ilyen. Előfordulhat például, hogy egy felhasználó módosítani szeretné a hangerőt a zenealkalmazásában. Ő mondja a "hangosabb" szót, de nem egyértelmű, hogy a rendszernek milyen hangosabbnak kell lennie a köteten. A felhasználó a következőt mondhatja: "Legyen egy kicsit hangosabb", de a "kicsit" nehezen számszerűsíthető. A hologramok hanggal való mozgatása vagy skálázása hasonlóan nehéz feladat.

Hangbemenetek észlelésének megbízhatósága Bár a hangbemeneti rendszerek egyre jobbak és jobbak, néha tévesen hallanak és értelmeznek hangparancsokat. A kulcs az alkalmazásában a feladat kezelése. Visszajelzés küldése a felhasználóknak, amikor a rendszer figyel, és amit a rendszer megértett, tisztázza a felhasználók beszédének megértésével kapcsolatos lehetséges problémákat.

Hangbemenet a megosztott terekben Előfordulhat, hogy a hang nem fogadható el társadalmilag a másokkal megosztott terekben. Íme, néhány példa:

  • Előfordulhat, hogy a felhasználó nem szeretne zavarni másokat (például egy csendes könyvtárban vagy megosztott irodában)
  • A felhasználók kényelmetlennek érezhetik magukat, amikor nyilvánosan beszélgetnek magukkal.
  • A felhasználó kényelmetlennek érezheti, hogy személyes vagy bizalmas üzenetet (beleértve a jelszavakat is) diktál, miközben mások figyelnek

Egyedi vagy ismeretlen szavak hangbemenete A hangbemenet nehézségei akkor is előfordulhatnak, amikor a felhasználók olyan szavakat diktálnak, amelyek a rendszer számára ismeretlenek lehetnek, például beceneveket, bizonyos szlengeket vagy rövidítéseket.

Tanulás hangparancsok használata A végső cél az, hogy természetes módon társalkodjon a rendszerrel, az alkalmazások gyakran továbbra is meghatározott, előre meghatározott hangparancsokat hagynak. A hangparancsok jelentős készletének egyik kihívása, hogy hogyan taníthatja meg őket anélkül, hogy túlterheli a felhasználót, és hogyan segíthet a felhasználónak a megtartásban.



Visszajelzési visszajelzések

Ha a Hang megfelelően van alkalmazva, a felhasználó megértette, mit tud mondani, és egyértelmű visszajelzést kap, hogy a rendszer helyesen hallotta őket. A két jel alapján a felhasználó magabiztosan bízik meg a Hang elsődleges bemenetként való használatában. Az alábbi ábra azt mutatja be, hogy mi történik a kurzorral, ha hangbemenetet ismer fel, és hogy az hogyan kommunikál a felhasználóval.

1. A kurzor normál állapota
1. A kurzor normál állapota

2. Hangalapú visszajelzést küld, majd eltűnik
2. Hangalapú visszajelzést küld, majd eltűnik

*3. Kurzor normál állapota
3. Normál kurzorállapotba tér vissza




A legfontosabb dolgok, amit a felhasználóknak érdemes tudni a "beszédről" a vegyes valóságban

  • A gomb megcélzása közben mondja a "Kijelölés" lehetőséget (ezt bárhol használhatja a gomb kiválasztásához).
  • Egyes alkalmazásokban megszabadhatja az alkalmazássáv gombjának címkenevét a művelet éhez. Ha például egy alkalmazást néz, a felhasználó az "Eltávolítás" paranccsal eltávolíthatja az alkalmazást a világból (így nem kell kézzel kiválasztania).
  • A "Hey Cortana" szóval elkezdheti Cortana. Felteheti a kérdéseit ("Hey Cortana, how tall is the Tower tower), megkérheti, hogy nyisson meg egy alkalmazást ("Hey Cortana, open Netflix"), vagy kérje meg, hogy nyissa meg a Start menüt ("Hey Cortana, take me home") és még sok más.

Gyakori kérdések és aggodalmak a felhasználók hanggal kapcsolatban

  • A használható parancsok
  • Hogyan, hogy a rendszer helyesen hallatott?
    • A rendszer folyamatosan hibás hangparancsokat ad vissza.
    • Nem reagál, ha hangparancsot adok neki.
  • Helytelenül reagál, amikor hangparancsot adok neki.
  • Hogyan a hangomat egy adott alkalmazáshoz vagy alkalmazásparancshoz?
  • Használhatok hanggal parancsokat a holografikus képkocka HoloLens?

Kommunikáció

Az olyan alkalmazások esetében, amelyek ki szeretnék használni a HoloLens által nyújtott testre szabott hangbemenet-feldolgozási lehetőségeket, fontos tisztában lenni az alkalmazás által használható különböző hangstream-kategóriákkal. a Windows 10 számos különböző streamkategóriát támogat, és a HoloLens ezek közül háromat használ a mikrofon hangminőségének optimalizálásához, amely beszédre, kommunikációra és egyéb szolgáltatásokra van optimalizálva, és amelyek környezeti hangrögzítésre (azaz "videokamerára") használhatók.

  • A AudioCategory_Communications stream kategóriája a hívásminőségi és narrációs forgatókönyvekhez van testre szabva, és 16 kHz-es, 24 bites monó hangstreamet biztosít az ügyfélnek a felhasználó hangján
  • Az AudioCategory_Speech Stream kategóriája az HoloLens (Windows) beszédmotorhoz van testre szabva, és 16 kHz-es, 24 bites mono streamet biztosít a felhasználó hangján. Ezt a kategóriát szükség esetén külső beszédmotorok is használják.
  • A AudioCategory_Other stream kategóriája környezeti hangrögzítésre van testre szabva, és 48 kHz-es 24 bites audiostreamet biztosít az ügyfélnek.

Ez a hangfeldolgozás hardveresen gyorsított, ami azt jelenti, hogy a funkciók sokkal kevesebb energiát fogyasztanának, mintha ugyanazt a feldolgozást végezték volna a processzor HoloLens processzoron. Ne futtason más hangbemenet-feldolgozást a PROCESSZORon a rendszer akkumulátor-élettartamának maximalizálása és a beépített, kiterheléses bemeneti feldolgozás kihasználása érdekében.

Nyelvek

HoloLens 2. fájl több nyelvet támogat. Ne feledje, hogy a beszédparancsok mindig a rendszer megjelenítési nyelvén fognak futni akkor is, ha több billentyűzet is telepítve van, vagy ha az alkalmazások egy másik nyelven próbálnak beszédfelismerőt létrehozni.

Hibaelhárítás

Ha bármilyen problémát a "select" és a "Hey Cortana" használata során problémákat ad, próbáljon egy csendesebb helyre költözni, elfordulni a zaj forrásától, vagy hangosabban beszélni. Jelenleg minden beszédfelismerés a HoloLens kifejezetten az angol nyelvű nyelv natív beszélőire Egyesült Államok optimalizálva.

A Windows Mixed Reality Developer Edition 2017-es kiadásában a hangvégpont-kezelési logika jól fog működni (örökre), miután kijelentkezett, majd visszament a PC-s asztalra a kezdeti HD-kapcsolat után. A WMR OOBE-n keresztüli első kijelentkezés/in esemény előtt a felhasználó különböző hangfunkciós problémákat tapasztalhat, amelyek hanganyag nélkül és hangváltás nélkül is előfordulhatnak attól függően, hogy a rendszer hogyan lett beállítva a HD első csatlakoztatása előtt.



Hangbemenet az MRTK-ban (Mixed Reality Toolkit) a Unityben

Az MRTKsegítségével egyszerűen hozzárendelhet hangparancsokat bármely objektumhoz. A kulcsszavak meghatározásához használja az MRTK Speech Input-profilját. A SpeechInputHandler szkript hozzárendelése esetén bármely objektum válaszolhat a Speech Input-profilban meghatározott kulcsszavakra. A SpeechInputHandler beszédigazoló címkét is biztosít a felhasználó megbízhatóságának növelése érdekében.


Lásd még

Hangbemenet

A hang a bemenetek egyik fő formája a HoloLens. Lehetővé teszi egy hologram közvetlen parancsát kézmozdulatok használata nélkül. A hangbemenet természetes módon kommunikálhatja a szándékot. A hang különösen hasznos az összetett felületek bejárásakor, mivel lehetővé teszi, hogy a felhasználók egyetlen paranccsal átvágják a beágyazott menüket.

A hangbemenetet ugyanaz a motor működteti, amely támogatja a beszédet az univerzális Windows alkalmazásokban. A HoloLens a beszédfelismerés mindig az Windows eszközén konfigurált megjelenítési nyelven Gépház.


Hang és tekintet

Hangparancsok használata esetén a tipikus célcsoport-olási mechanizmus a fej vagy a szem tekintete, akár a "select" (kijelölés) kurzorral, akár a parancsnak egy ön által figyelt alkalmazáshoz való csatornázásával. Előfordulhat, hogy nem is kell semmilyen tekinteti kurzort ("lásd, mondja ki"). Egyes hangparancsok egyáltalán nem igényelnek célt, mint például a "go to start" vagy a "Hey Cortana."


Eszköztámogatás