Contrôle des appareils IoT avec un Assistant vocal

Bot Service
Voix
IoT Hub
Language Understanding

Idée de solution

Si vous souhaitez nous voir développer cet article avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, faites-le nous savoir avec les Commentaires de GitHub.

Créez des interfaces conversationnelles fluides avec tous vos appareils accessibles sur Internet, de votre téléviseur ou réfrigérateur connecté aux appareils d’une usine connectée. En combinant Azure Speech Service, Language Understanding Service (LUIS) et Azure Bot Framework les développeurs peuvent créer des interfaces conversationnelles naturelles et simili-humaines pour contrôler les appareils intelligents utilisant Azure IoT Hub.

Architecture

Diagramme de l'architecture

Flux de données

  1. À l’aide de la voix, l’utilisateur demande à l’application d’assistance vocale d’activer les lumières de la maison extérieure.
  2. À l’aide du SDK Speech, l’application se connecte à Direct Line Speech. Si les mots clés sont confirmés par la vérification par mot clé, la parole est transcrite en texte et envoyée au service Bot Service.
  3. Le service bot se connecte au service Language Understanding (LUIS). LUIS permet à une application de comprendre le sens des propos d’une personne. L’objectif de la demande de l’utilisateur (exemple : Allumer la lumière) est renvoyé au service Bot Service.
  4. La demande est relayée vers l’appareil.
    • Si l’appareil est connecté à Azure IoT Hub, le service bot se connecte à l’API du service Azure IoT Hub et envoie la commande à l’appareil à l’aide soit d’une méthode directe, soit d’une mise à jour de la propriété désirée du jumeau d’appareil, soit d’un message Cloud vers l’appareil.
    • Si l’appareil est connecté à un Cloud IoT tiers, Bot Service se connecte à l’API de service tierce et envoie une commande à l’appareil.
  5. Le bot renvoie les résultats de la commande à l’utilisateur en générant une réponse qui comprend le texte à prononcer.
  6. La réponse est transmise en audio à l’aide du service de conversion de texte par synthèse vocale et renvoyée à l’application d’assistance vocale par Direct Line Speech.
  7. Application Insights collecte les données de télémétrie du runtime pour faciliter le développement à l’aide des informations sur les performances et l’utilisation du bot.
  8. Azure App Service héberge l’application de service bot.

Components

  1. Documentation sur les assistants vocaux
  2. Tutoriel : Activer les fonctions vocales dans votre bot à l’aide du SDK Speech
  3. Qu’est-ce que Direct Line Speech ?
  4. Service de robot Azure
  5. Reconnaissance vocale
  6. Synthèse vocale
  7. Mots clés personnalisés
  8. Language Understanding Service (LUIS)
  9. Azure IoT Hub

Étapes suivantes