Steuern von IoT-Geräten mithilfe eines Sprachassistenten

Botdienst
Spracheingabe/-ausgabe
IoT Hub
Language Understanding

Lösungsidee

Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen!

Erstellen Sie nahtlose Konversationsschnittstellen mit allen Ihren internetfähigen Geräten – von Ihrem vernetzten Fernsehgerät oder Kühlschrank bis hin zu Geräten in einem verbundenen Kraftwerk. Entwickler können den Azure Speech-Dienst, LUIS (Language Understanding Service) und Azure Bot Framework kombinieren, um natürliche, menschenähnliche Konversationsschnittstellen zur Steuerung von intelligenten Geräten mit Azure IoT Hub zu erstellen.

Aufbau

Architekturdiagramm

Datenfluss

  1. Mittels Spracheingabe fordert der Benutzer die Sprach-Assistenten-App auf, die Außenbeleuchtung des Hauses einzuschalten.
  2. Die App stellt mithilfe des Speech SDK eine Verbindung mit dem Direct Line Speech-Kanal her. Wenn durch die Schlüsselwortüberprüfung bestätigt werden, wird die Spracheingabe in Text transkribiert und an den Bot Service gesendet.
  3. Der Bot Service stellt eine Verbindung mit dem Language Understanding Service (LUIS) her. Mit LUIS kann eine Anwendung es verstehen, wenn eine Person Wünsche in ihrer eigenen Sprache äußert. Die Absicht der Benutzeranforderung (beispielsweise TurnOnLight) wird an den Bot Service zurückgegeben.
  4. Die Anforderung wird an das Gerät weitergeleitet.
    • Wenn das Gerät mit Azure IoT Hub verbunden ist, stellt der Bot Service eine Verbindung mit der Azure IoT Hub Service-API her und sendet den Befehl über eine direkte Methode, eine Aktualisierung der gewünschten Eigenschaft des Gerätezwillings oder eine Cloud-zu-Gerät-Nachricht an das Gerät weiter.
    • Ist das Gerät mit der IoT-Cloud eines Drittanbieters verbunden, stellt der Bot Service eine Verbindung mit der API des Drittanbieterdiensts her und sendet einen Befehl an das Gerät.
  5. Der Bot gibt die Ergebnisse des Befehls an den Benutzer zurück, indem er eine Antwort generiert, die den zu sprechenden Text enthält.
  6. Die Antwort wird über den Text-zu-Sprache-Dienst in Audio umgewandelt und durch Direct Line Speech an die Sprachassistenten-App zurückgegeben.
  7. Application Insights sammelt Laufzeittelemetriedaten, um bei der Entwicklung von Bot-Leistung und -Verwendung zu helfen.
  8. Azure App Service hostet die Bot Service-Anwendung.

Komponenten

  1. Dokumentation zu Sprachassistenten
  2. Tutorial: Sprachaktivierung für Ihren Bot mithilfe des Speech SDK
  3. Was ist Direct Line Speech?
  4. Azure Bot Service
  5. Spracherkennung
  6. Sprachsynthese
  7. Benutzerdefinierte Schlüsselwörter
  8. Language Understanding Service (LUIS)
  9. Azure IoT Hub

Nächste Schritte