Styra IoT-enheter med hjälp av en röstassistent

Bot Service
Speech
IoT Hub
Language Understanding

Lösningsidé

Om du vill att vi utökar den här artikeln med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du berätta för GitHub Feedback!

Skapa sömlösa konversationsgränssnitt med alla dina enheter som är tillgängliga via Internet, från anslutna TV-apparater och kylskåp till enheter i ett anslutet kraftverk. Genom att kombinera Azure Speech Service, Language Understanding Service (LUIS) och Azure Bot Frameworkkan utvecklare skapa naturliga, människoliknande konversationsgränssnitt för att styra smarta enheter med hjälp av Azure IoT Hub.

Arkitektur

Arkitekturdiagram

Dataflöde

  1. Med hjälp av rösten ber användaren röstassistentappen att aktivera husbelysningen.
  2. Med hjälp av Speech SDK ansluter appen till Direct Line Speech. Om nyckelord bekräftas med nyckelordsverifiering transkriberas talet till text och skickas till Bot Service.
  3. Den Bot Service ansluter till Language Understanding (LUIS). MED LUIS kan ett program förstå vad en person vill med sina egna ord. Avsikten med användarens begäran (exempel: TurnOnLight) returneras till Bot Service.
  4. Begäran vidarebefordras till enheten.
    • Om enheten är ansluten till Azure IoT Hub ansluter Bot Service till api:et för Azure IoT Hub-tjänsten och skickar kommandot till enheten med hjälp av antingen en direktmetod, en uppdatering av enhetstvillingens önskade egenskap eller ett meddelande från moln till enhet.
    • Om enheten är ansluten till ett IoT-moln från tredje part Bot Service till api:et för tjänster från tredje part och skickar ett kommando till enheten.
  5. Roboten returnerar resultatet av kommandot till användaren genom att generera ett svar som innehåller texten att tala.
  6. Svaret omvandlas till ljud med hjälp av text till tal-tjänsten och skickas tillbaka till röstassistentappen genom att Direct Line Speech.
  7. Program Insights samlar in körningstelemetri som hjälper dig att utveckla med robotens prestanda och användning
  8. Azure App Service är värd för Bot Service program.

Komponenter

  1. Dokumentation om röstassistenter
  2. Självstudie: Röstaktivera din robot med hjälp av Speech SDK
  3. Vad är Direct Line Speech
  4. Azure Bot Service
  5. Tal till text
  6. Text till tal
  7. Anpassade nyckelord
  8. Language Understanding Service (LUIS)
  9. Azure IoT Hub

Nästa steg