Bearbeiten

Steuern von IoT-Geräten mit einer Sprach-Assistenten-App

Azure KI Bot Service
Azure IoT Hub
Azure KI Services
Azure KI Speech

Lösungsmöglichkeiten

Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.

Diese Lösungsidee beschreibt, wie Sie Sprachkonversationsschnittstellen mit IoT-Geräten (Internet of Things) erstellen. Sie können Azure Speech Service, Language Understanding Service (LUIS) und das Azure Bot Framework miteinander kombinieren, um natürliche, menschenähnliche Schnittstellen zu erstellen, die IoT-Geräte über Azure IoT Hub steuern.

Mögliche Anwendungsfälle

  • Steuern von über das Internet erreichbaren Heimgeräten wie Fernseher und Kühlschränke per Sprachbefehl.
  • Verwenden gesprochener Sprache und natürlicher Sprache, um Probleme mit Geräten zu melden, die mit dem IoT verbunden sind.

Aufbau

Diagram showing the architecture of a voice assistant app.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

  1. Mittels Sprachgerät fordert der Benutzer die Sprach-Assistenten-App auf, die Außenbeleuchtung des Hauses einzuschalten.

  2. Die App stellt mithilfe des Azure Speech SDK eine Verbindung mit dem Direct Line Speech-Kanal des Bot Service her. Wenn die Schlüsselworterkennung bestimmte Schlüsselwörter bestätigt, transkribiert Direct Line Speech die Sprache in Text (Spracherkennung) und sendet den Text an die im Azure App Service gehostete Bot Service-App.

  3. Der Bot Service stellt eine Verbindung mit dem LUIS-Dienst (Language Understanding) her. LUIS bestimmt die Absicht der Anforderung des Benutzers: TurnOnLight (Licht einschalten).

  4. LUIS gibt die Absicht an den Bot Service zurück.

  5. Wenn die Geräte mit Azure IoT Hub verbunden sind, leitet Bot Service die Anforderung über Azure IoT Hub weiter, um die Außenbeleuchtung einzuschalten. Bot Service verwendet die IoT Hub-API, um den Befehl mithilfe direkter Methoden an die Geräte zu senden, die die gewünschte Eigenschaft des Gerätezwillings aktualisieren oder eine Cloud-zu-Gerät-Nachricht senden.

    Wenn die Geräte mit einer IoT-Installation eines Drittanbieters verbunden sind, stellt Bot Service eine Verbindung über die Drittanbieter-API her, um einen Befehl an die Geräte zu senden.

  6. Der Bot Service gibt die Ergebnisse des Befehls an den Benutzer zurück, indem er eine Antwort generiert. Der Sprachsynthese-Dienst wandelt die Antwort in Audio um und übergibt sie mittels mit Direct Line Speech wieder zurück an die Sprach-Assistenten-App.

  7. Application Insights sammelt Laufzeittelemetriedaten für die Entwicklung der Botleistung und -verwendung.

Komponenten

  • Bot Service bietet eine integrierte Umgebung für die Bot-Entwicklung.
  • Der Speech-Dienst bietet branchenführende Sprachfunktionen wie Spracherkennung, Sprachsynthese, Sprachübersetzung und Sprechererkennung.
  • Der LUIS-Dienst (Language Understanding) wendet benutzerdefinierte Machine Learning-Intelligenz auf unterhaltungsbezogene, natürlichsprachliche Texte an, um die Bedeutung vorherzusagen sowie relevante Informationen zu extrahieren.
  • IoT Hub ist ein zentraler Cloudnachrichtenhub für die bidirektionale Kommunikation zwischen IoT-Anwendungen und Geräten.
  • Application Insights ist ein Feature von Azure Monitor, das eine erweiterbare Verwaltung der Anwendungsleistung (Application Performance Management, APM) und Überwachung für Live-Web-Apps ermöglicht.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

Nächste Schritte