Controllo dei dispositivi IoT con l'assistente vocale

Servizio Bot
Voce
Hub IoT
Language Understanding

Idea della soluzione

Se si desidera vedere questo articolo con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o linee guida sui prezzi, è possibile inviare commenti e suggerimenti GitHub!

Creare interfacce per conversazioni semplici con tutti i dispositivi accessibili a Internet, dal televisore o il frigorifero connesso ai dispositivi di una centrale elettrica connessa. Combinando il Servizio di riconoscimento vocale di Azure,il servizio LUIS (Language Understanding Service) e Azure Bot Framework,gli sviluppatori possono creare interfacce di conversazione naturali simili a quella umana per controllare i dispositivi intelligenti usando Azure IoT Hub.

Architettura

Diagramma dell'architettura

Flusso di dati

  1. Usando la voce, l'utente chiede all'app assistente vocale di attivare le luci della casa esterne.
  2. Usando Speech SDK, l'app si connette a Direct Line Speech. Se le parole chiave vengono confermate dalla verifica delle parole chiave, il parlato viene trascritto in testo e inviato al servizio Bot.
  3. Il servizio Bot si connette Language Understanding servizio (LUIS). LUIS consente a un'applicazione di comprendere ciò che una persona vuole con le proprie parole. La finalità della richiesta dell'utente (ad esempio TurnOnLight) viene restituita al servizio Bot.
  4. La richiesta viene inoltrata al dispositivo.
    • Se il dispositivo è connesso all'hub di Azure IoT, il servizio Bot si connette all'API del servizio hub di Azure IoT e invia il comando al dispositivo usando un metodo diretto, un aggiornamento della proprietà desiderata del dispositivo gemello o un messaggio da cloud a dispositivo.
    • Se il dispositivo è connesso a un cloud IoT di terze parti, il servizio Bot si connette all'API del servizio di terze parti e invia un comando al dispositivo.
  5. Il bot restituisce i risultati del comando all'utente generando una risposta che include il testo da pronunciare.
  6. La risposta viene trasformata in audio usando il servizio Sintesi vocale e passata nuovamente all'app assistente vocale Direct Line Speech.
  7. Application Insights raccoglie i dati di telemetria di runtime per facilitare lo sviluppo con le prestazioni e l'utilizzo dei bot
  8. Servizio app di Azure ospita l'applicazione del servizio Bot.

Componenti

  1. Documentazione degli assistenti vocali
  2. Esercitazione: Abilitare la voce per il bot con Speech SDK
  3. Che cos'è Direct Line Speech
  4. Servizio Azure Bot
  5. Riconoscimento vocale
  6. Sintesi vocale
  7. Parole chiave personalizzate
  8. Language Understanding Service (LUIS)
  9. Hub IoT di Azure

Passaggi successivi