Řízení zařízení IoT pomocí hlasového asistenta

Bot Service
Řeč
IoT Hub
Language Understanding

Nápad řešení Solution Idea

Pokud se chcete podívat, jak nás rozšířit tento článek o další informace, podrobnosti implementace, doprovodné materiály nebo příklady kódu, dejte nám vědět s názory na GitHubu.If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Vytvářejte bezproblémová konverzační rozhraní pro všechna vaše zařízení přístupná z internetu, od připojené televize nebo chladničky až po zařízení v připojené elektrárně.Create seamless conversational interfaces with all of your internet-accessible devices-from your connected television or fridge to devices in a connected power plant. Díky kombinaci služby Azure Speech Service, služby Language Understanding (Luis) a Azure bot Frameworkmůžou vývojáři vytvářet přirozená a podobná konverzační rozhraní pro řízení inteligentních zařízení pomocí Azure IoT Hub.By combining Azure Speech Service, Language Understanding Service (LUIS) and Azure Bot Framework, developers can create natural, human-like conversational interfaces to control smart devices using Azure IoT Hub.

ArchitekturaArchitecture

Diagram architektury

Tok datData flow

  1. Pomocí hlasu uživatel požádá aplikaci hlasového asistenta, aby zapnul světla vnějších domu.Using voice, the user asks the voice assistant app to turn on the exterior house lights.
  2. Pomocí sady Speech SDK se aplikace připojuje k přímému line Speech.Using the Speech SDK, the app connects to Direct Line Speech. Pokud jsou klíčová slova potvrzena ověřováním pomocí klíčového slova, je rozpoznávání řeči přepisu textu a odesláno do služby bot.If keywords are confirmed by Keyword Verification, the speech is transcribed to text and sent to the Bot Service.
  3. Služba bot se připojuje ke službě Language Understanding (LUIS).The Bot Service connects to Language Understanding service (LUIS). LUIS umožňuje aplikaci pochopit, co osoba chce, podle svých vlastních slov.LUIS allows an application to understand what a person wants in their own words. Do služby bot se vrátí záměr žádosti uživatele (příklad: TurnOnLight).The intent of the user's request (example: TurnOnLight) is returned to the Bot Service.
  4. Požadavek se předává do zařízení.The request is relayed to the device.
    • Pokud je zařízení připojené k Azure IoT Hub, služba bot se připojí ke službě Azure IoT Hub Service API a pošle příkaz do zařízení pomocí přímé metody, aktualizace požadované vlastnosti, která je v zařízení poškozená, nebo do zprávy cloudu na zařízení.If the device is connected to Azure IoT Hub, Bot Service connects to Azure IoT Hub Service API and sends the command to the device using either a Direct Method, an update to the device twin's Desired Property, or a Cloud to Device message.
    • Pokud je zařízení připojené ke cloudu IoT třetí strany, služba bot se připojí k rozhraní API služby třetí strany a odešle příkaz do zařízení.If the device is connected to a third party IoT cloud, Bot Service connects to the third-party service API and sends a command to the device.
  5. Robot vrátí výsledky příkazu pro uživatele vygenerováním odpovědi, která zahrnuje text, který se má mluvit.The Bot returns the results of the command to the user by generating a response that includes the text to speak.
  6. Odpověď se přepíná na zvuk pomocí služby převodu textu na řeč a předává se zpátky do aplikace hlasového asistenta prostřednictvím přímého Lineového rozpoznávání.The response is turned into audio using the Text-to-speech service and passed back to the voice assistant app by Direct Line Speech.
  7. Application Insights shromažďuje telemetrii za běhu za účelem usnadnění vývoje s využitím a výkonem robota.Application Insights gathers runtime telemetry to help development with bot performance and usage
  8. Azure App Service je hostitelem aplikace služby bot.Azure App Service hosts the Bot Service application.

KomponentyComponents

  1. Dokumentace k hlasovým asistentůmVoice assistants documentation
  2. Kurz: hlas – povolení robota pomocí sady Speech SDKTutorial: Voice-enable your bot using the Speech SDK
  3. Co je Direct line SpeechWhat is Direct Line Speech
  4. Azure Bot ServiceAzure Bot Service
  5. Převod řeči na textSpeech to Text
  6. Převod textu na řečText to Speech
  7. Vlastní klíčová slovaCustom Keywords
  8. Služba Language Understanding (LUIS)Language Understanding Service (LUIS)
  9. Azure IoT HubAzure IoT Hub

Další krokyNext steps