IoT-apparaten beheren met een Spraakassistent

Bot-service
Spraak
IoT Hub
Taalbegrip

Oplossingsidee

Als u wilt dat we dit artikel uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsinformatie, laat het ons dan weten met GitHub Feedback!

Maak naadloze conversatie-interfaces met al uw apparaten die toegankelijk zijn via internet, van uw met internet verbonden televisie of koelkast tot apparaten in een aangesloten krachtcentrale. Door Azure Speech Service, Language Understanding Service (LUIS) en Azure Bot Frameworkte combineren, kunnen ontwikkelaars natuurlijke, menselijke gespreksinterfaces maken om slimme apparaten te beheren met behulp van Azure IoT Hub.

Architectuur

Architectuurdiagram

Gegevensstroom

  1. Met behulp van spraak vraagt de gebruiker de spraakassistent-app om de lampen in te zetten.
  2. Met behulp van de Speech SDK maakt de app verbinding met Direct Line Speech. Als trefwoorden worden bevestigd door Trefwoordverificatie, wordt de spraak naar tekst transcricriseerd en naar de Bot Service.
  3. De Bot Service maakt verbinding met Language Understanding service (LUIS). Met LUIS kan een toepassing in zijn eigen woorden begrijpen wat een persoon wil. De intentie van de aanvraag van de gebruiker (bijvoorbeeld: TurnOnLight) wordt geretourneerd naar de Bot Service.
  4. De aanvraag wordt doorgegeven aan het apparaat.
    • Als het apparaat is verbonden met Azure IoT Hub, maakt Bot Service verbinding met de Azure IoT Hub Service-API en verzendt de opdracht naar het apparaat met behulp van een directe methode, een update van de gewenste eigenschap van de apparaattwee of een cloud-naar-apparaat-bericht.
    • Als het apparaat is verbonden met een IoT-cloud van derden, Bot Service verbinding met de service-API van derden en verzendt een opdracht naar het apparaat.
  5. De bot retourneert de resultaten van de opdracht aan de gebruiker door een antwoord te genereren dat de te spreken tekst bevat.
  6. Het antwoord wordt omgezet in audio met behulp van de text-to-speech-service en door middel van een Direct Line Speech.
  7. Application Insights verzamelt runtimetelemetrie om de prestaties en het gebruik van bots te helpen ontwikkelen
  8. Azure App Service host de Bot Service toepassing.

Onderdelen

  1. Documentatie over spraakassistenten
  2. Zelfstudie: Uw bot spraak inschakelen met behulp van de Speech SDK
  3. Wat is Direct Line Speech
  4. Azure Bot Service
  5. Speech to Text
  6. Text to Speech
  7. Aangepaste trefwoorden
  8. Language Understanding Service (LUIS)
  9. Azure IoT Hub

Volgende stappen