Vytvoření hlasového asistenta bez kódu v Azure Percept Studio

V tomto kurzu vytvoříte hlasového asistenta ze šablony pro použití s vašimi Azure Percept DK a Azure Percept Audio. Ukázka hlasového asistenta běží v Azure Percept Studio a obsahuje výběr hlasem řízených virtuálních objektů. Pokud chcete ovládat objekt, řekněte klíčové slovo , což je slovo nebo krátká fráze, která probouzí vaše zařízení, a pak příkaz. Každá šablona reaguje na sadu konkrétních příkazů.

Tato příručka vás provede procesem nastavení zařízení, vytvoření hlasového asistenta a potřebných prostředků služeb Speech Services, testování hlasového asistenta, konfigurace klíčového slova a vytváření vlastních klíčových slov.

Požadavky

• Azure Percept DK (devkit)
• Azure Percept Audio
• Mluvčí nebo kabeláky, které se 3,5mm připojují ke zvukovému konektoru (volitelné)
• Předplatné Azure
• Azure Percept DK nastavení:připojili jste devkit k Wi-Fi síti, vytvořili jste IoT Hub a připojili jste devkit k IoT Hub
• Azure Percept Audio nastavení

Vytvoření hlasového asistenta pomocí dostupné šablony

1. Přejděte na Azure Percept Studio.

2. Otevřete kartu & ukázek.

   

3. V části Speech tutorials and demos (Kurzy a ukázky řeči) klikněte na Try out voice assistant templates (Vyzkoušet šablony hlasového asistenta). Otevře se okno na pravé straně obrazovky.

4. V okně proveďte následující:

   1. V rozevírací IoT Hub vyberte centrum IoT, ke kterému je vaše devkit připojená.

   2. V rozevírací nabídce Zařízení vyberte svou devkit.

   3. Vyberte jednu z dostupných šablon hlasového asistenta.

   4. Zaškrtněte políčko Souhlasím s podmínkami & podmínek pro tento projekt.

   5. Klikněte na Vytvořit.

   

5. Po kliknutí na Vytvořit portál otevře další okno pro vytvoření prostředku motivu řeči. V okně proveďte následující:

   1. V poli Předplatné vyberte své předplatné Azure.

   2. V rozevírací nabídce Skupina prostředků vyberte požadovanou skupinu prostředků. Pokud chcete vytvořit novou skupinu prostředků pro použití se svým hlasovým asistentem, klikněte v rozevírací nabídce na Vytvořit a postupujte podle pokynů.

   3. Jako Předpona aplikace zadejte název. Bude to předpona vašeho projektu a název vlastního příkazu.

   4. V části Oblast vyberte oblast, do které chcete prostředky nasadit.

   5. V části Cenová úroveň predikce služby LUIS vyberte Standard (úroveň Free nepodporuje žádosti o řeč).

   6. Klikněte na tlačítko Vytvořit. Prostředky pro aplikaci hlasového asistenta se nasadí do vašeho předplatného.

      Upozornění

      NezaDÁTE okno, dokud portál nedokončí nasazení prostředku. Předčasné zavření okna může vést k neočekávanému chování hlasového asistenta. Po nasazení prostředku se zobrazí ukázka.

   

Otestování hlasového asistenta

Pokud chcete s hlasovým asistentem pracovat, řekněte klíčové slovo následované příkazem. Když SoM uší rozpozná vaše klíčové slovo, zařízení vysílá zvonek (který můžete slyšet, když je připojený mluvčí nebo smyšlené), a indikátory LED budou blikat modře. Led diody se při zpracování příkazu přepne na běsní modrý. Odpověď hlasového asistenta na váš příkaz se v ukázkovém okně vytiskne v textu a hlasový signál se vysílá prostřednictvím mluvčího nebo dechu. Výchozí klíčové slovo (uvedené vedle Vlastní klíčové slovo) je nastavené na "Počítač" a každá šablona obsahuje sadu kompatibilních příkazů, které umožňují interakci s virtuálními objekty v ukázkovém okně. Pokud například používáte ukázku zdravotní péče nebo zdravotní péče, třeba "Computer, turn on TV" (Počítač, zapnout tv), aby se virtuální tv zapne.

Ukázkové příkazy pro zdravotnictví a zdravotní péči

Ukázky zdravotní péče i degradu mají virtuální TV, světla, slepce a termostaty, se kterými můžete interagovat. Podporují se následující příkazy (a další varianty):

• "Turn on/off the lights." (Zapnout/vypnout světla.
• "Turn on/off the TV." (Zapnout/vypnout tv).
• "Turn on/off the AC." (Zapnout/vypnout střídavé napětí.
• "Open/close the blinds".
• "Set temperature to X degrees." (Nastavit teplotu na X stupňů) (X je požadovaná teplota, například 75.)

Ukázkové příkazy pro automobilů

Ukázka automobilů má virtuální teplou autosedačku, degradátor a termostat, se kterými můžete pracovat. Podporují se následující příkazy (a další varianty):

• "Turn on/off the defroster." (Zapnout/vypnout defrastr.
• "Turn on/off the seat warmer." (Zapnout/vypnout teplou autosedačku.
• "Set temperature to X degrees." (Nastavit teplotu na X stupňů) (X je požadovaná teplota, například 75.)
• "Zvýšení/snížení teploty o Y stupňů".

Inventarizace ukázkových příkazů

Ukázka inventáře obsahuje výběr virtuálních modrých, žlutých a zelených polí pro interakci s virtuální aplikací inventáře. Podporují se následující příkazy (a další varianty):

• "Add/remove X boxes". (X je počet polí, např. 4.)
• "Order/ship X boxes".
• "Kolik polí je na skladě?"
• "Count Y boxes." (Počet polí Y) (Y je barva polí, například žlutá.)
• "Ship everything in stock." (Vše je na skladě.)

Konfigurace klíčového slova

Klíčové slovo aplikace hlasového asistenta můžete přizpůsobit.

1. Klikněte na Změnit vedle Vlastní klíčové slovo v okně ukázky.

2. Vyberte jedno z dostupných klíčových slov. Budete si moct vybrat z výběru ukázkových klíčových slov a všech vlastních klíčových slov, která jste vytvořili.

3. Klikněte na Uložit.

Vytvoření vlastního klíčového slova

Pro hlasovou aplikaci můžete vytvořit vlastní klíčové slovo. Trénování vlastního klíčového slova se může dokončit během několika minut.

1. Klikněte na + Vlastní klíčové slovo v horní části okna ukázky.

2. Zadejte požadované klíčové slovo, což může být jedno slovo nebo krátká fráze.

3. Vyberte prostředek služby Speech (v ukázkovém okně je uvedený vedle možnosti Vlastní příkaz a obsahuje předponu vaší aplikace).

4. Klikněte na Uložit.

Vytvoření vlastního příkazu

Portál také poskytuje funkce pro vytváření vlastních příkazů s existujícími prostředky služby Speech. "Vlastní příkaz" odkazuje na samotnou aplikaci hlasového asistenta, nikoli na konkrétní příkaz v rámci existující aplikace. Vytvořením vlastního příkazu vytváříte nový projekt řeči, který musíte dále vyvíjet v Speech Studio .

Pokud chcete v okně ukázky vytvořit nový vlastní příkaz, klikněte na + Create Custom Command (+ Vytvořit vlastní příkaz) v horní části stránky a proveďte následující kroky:

1. Zadejte název vlastního příkazu.

2. Zadejte popis projektu (volitelné).

3. Vyberte preferovaný jazyk.

4. Vyberte prostředek pro rozpoznávání řeči.

5. Vyberte prostředek LUIS.

6. Vyberte prostředek pro vytváření LUIS nebo vytvořte nový.

7. Klikněte na Vytvořit.

Když vytvoříte vlastní příkaz, musíte přejít na řeč Studio pro další vývoj. Pokud otevřete Speech Studio a v seznamu nevidíte svůj vlastní příkaz, postupujte takto:

1. na panelu nabídky vlevo v Azure Percept Studio klikněte na řeč v části projekty AI.

2. Vyberte kartu příkazy .

   

3. Vyberte vlastní příkaz, který chcete vyvíjet. Tím otevřete projekt v aplikaci Speech Studio.

   

Další informace o vývoji vlastních příkazů najdete v dokumentaci ke službě Speech Service.

Řešení potíží

Hlasový asistent se vytvořil, ale nereaguje na příkazy.

Ověřte indikátory LED na vývěsce:

• Tři plná modrá světla označují, že hlasový asistent je připravený a čeká na klíčové slovo.
• Pokud je INDIKÁTORem středu (L02) bílá, dokončila se inicializace DevKit a musí být nakonfigurovaná pomocí klíčového slova.
• Pokud je na středovém LED (L02) nastavené blikání, zvuk SoM ještě nedokončil inicializaci. Dokončení inicializace může trvat několik minut.

Další informace o indikátorech LED naleznete v článku indikátoru LED.

Hlasový asistent nereaguje na vlastní klíčové slovo vytvořené v studiu řeči.

Tato situace může nastat, pokud je modul řeči zastaralý. Pomocí těchto kroků aktualizujte modul řeči na nejnovější verzi:

1. v levém panelu nabídky na domovské stránce Azure Percept Studio klikněte na zařízení .

2. Vyhledejte a vyberte své zařízení.

   

3. V okně zařízení vyberte kartu řeč .

4. Podívejte se na verzi modulu Speech. Pokud je k dispozici aktualizace, zobrazí se vedle čísla verze tlačítko aktualizace .

5. Kliknutím na aktualizovat nasadíte aktualizaci modulu Speech. Dokončení procesu aktualizace obvykle trvá 2-3 minut.

Vyčištění prostředků

Po dokončení práce s aplikací hlasového asistenta pomocí těchto kroků vyčistěte prostředky pro rozpoznávání řeči, které jste nasadili během tohoto kurzu:

1. Z Azure Portalv levém panelu nabídky vyberte skupiny prostředků nebo je zadejte do panelu hledání.

   

2. Vyberte skupinu prostředků.

3. Vyberte všechny 6 prostředků obsahující předponu aplikace a klikněte na ikonu Odstranit v horním panelu nabídky.
   

4. Odstranění potvrďte tak, že v potvrzovacím poli zadáte Ano , ověříte, že jste vybrali správné prostředky a kliknete na Odstranit.

   

Další kroky

Teď, když jste vytvořili řešení pro rozpoznávání řeči bez kódu, zkuste pro svůj Azure Percept DK vytvořit řešení pro vize bez kódu .