Controlar dispositivos IoT com um Assistente de Voz

Serviço de Bot
Voz
IoT Hub
Compreensão de Idiomas

Ideia de solução Solution Idea

Se quiser ver-nos expandir este artigo com mais informações, detalhes de implementação, orientação de preços ou exemplos de código, informe-nos com o Feedback do GitHub!If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Crie interfaces de conversação totalmente integradas com todos os seus dispositivos acessíveis através da Internet, desde a televisão ou frigorífico ligados até dispositivos numa central elétrica ligada.Create seamless conversational interfaces with all of your internet-accessible devices-from your connected television or fridge to devices in a connected power plant. Ao combinar O Serviço de Fala Azure,Serviço de Compreensão de Línguas (LUIS) e Azure Bot Framework,os desenvolvedores podem criar interfaces de conversação naturais, semelhantes ao homem, para controlar dispositivos inteligentes usando o Azure IoT Hub.By combining Azure Speech Service, Language Understanding Service (LUIS) and Azure Bot Framework, developers can create natural, human-like conversational interfaces to control smart devices using Azure IoT Hub.

ArquiteturaArchitecture

Diagrama da arquitetura

Fluxo de dadosData flow

  1. Utilizando a voz, o utilizador pede à aplicação do assistente de voz para ligar as luzes exteriores da casa.Using voice, the user asks the voice assistant app to turn on the exterior house lights.
  2. Utilizando o SDK de discurso, a aplicação conecta-se ao Discurso de Linha Direta.Using the Speech SDK, the app connects to Direct Line Speech. Se as palavras-chave forem confirmadas pela Verificação de Palavras-Chave, a fala é transcrita para texto e enviada para o Serviço Bot.If keywords are confirmed by Keyword Verification, the speech is transcribed to text and sent to the Bot Service.
  3. O Serviço Bot liga-se ao serviço de Compreensão de Línguas (LUIS).The Bot Service connects to Language Understanding service (LUIS). LUIS permite que uma aplicação compreenda o que uma pessoa quer nas suas próprias palavras.LUIS allows an application to understand what a person wants in their own words. A intenção do pedido do utilizador (exemplo: TurnOnLight) é devolvida ao Serviço Bot.The intent of the user's request (example: TurnOnLight) is returned to the Bot Service.
  4. O pedido é reencaminhado para o dispositivo.The request is relayed to the device.
    • Se o dispositivo estiver ligado ao Azure IoT Hub, o Bot Service liga-se à Azure IoT Hub Service API e envia o comando para o dispositivo utilizando um Método Direto, uma atualização para a Propriedade Desejada do do dispositivo, ou uma mensagem Cloud to Device.If the device is connected to Azure IoT Hub, Bot Service connects to Azure IoT Hub Service API and sends the command to the device using either a Direct Method, an update to the device twin's Desired Property, or a Cloud to Device message.
    • Se o dispositivo estiver ligado a uma nuvem IoT de terceiros, o Bot Service liga-se à API de serviço de terceiros e envia um comando para o dispositivo.If the device is connected to a third party IoT cloud, Bot Service connects to the third-party service API and sends a command to the device.
  5. O Bot devolve os resultados do comando ao utilizador gerando uma resposta que inclui o texto para falar.The Bot returns the results of the command to the user by generating a response that includes the text to speak.
  6. A resposta é transformada em áudio usando o serviço Text-to-speech e transmitida de volta para a aplicação de assistente de voz por Direct Line Speech.The response is turned into audio using the Text-to-speech service and passed back to the voice assistant app by Direct Line Speech.
  7. Application Insights reúne telemetria de tempo de execução para ajudar no desenvolvimento com desempenho e utilização de botsApplication Insights gathers runtime telemetry to help development with bot performance and usage
  8. O Azure App Service acolhe a aplicação Bot Service.Azure App Service hosts the Bot Service application.

ComponentesComponents

  1. Documentação dos assistentes de vozVoice assistants documentation
  2. Tutorial: Ativar a voz do seu bot utilizando o SDK de discursoTutorial: Voice-enable your bot using the Speech SDK
  3. O que é discurso de linha diretaWhat is Direct Line Speech
  4. Azure Bot ServiceAzure Bot Service
  5. Conversão de Voz em TextoSpeech to Text
  6. Conversão de Texto em VozText to Speech
  7. Palavras-chave personalizadasCustom Keywords
  8. Serviço de Compreensão de Línguas (LUIS)Language Understanding Service (LUIS)
  9. Hub IoT do AzureAzure IoT Hub

Passos seguintesNext steps