Controlar dispositivos IoT com um Assistente de Voz

Crie interfaces de conversação totalmente integradas com todos os seus dispositivos acessíveis através da Internet, desde a televisão ou frigorífico ligados até dispositivos numa central elétrica ligada.Create seamless conversational interfaces with all of your internet-accessible devices-from your connected television or fridge to devices in a connected power plant. Ao combinar O Serviço de Fala Azure,Serviço de Compreensão de Línguas (LUIS) e Azure Bot Framework,os desenvolvedores podem criar interfaces de conversação naturais, semelhantes ao homem, para controlar dispositivos inteligentes usando o Azure IoT Hub.By combining Azure Speech Service, Language Understanding Service (LUIS) and Azure Bot Framework, developers can create natural, human-like conversational interfaces to control smart devices using Azure IoT Hub.

ArquiteturaArchitecture

Fluxo de dadosData flow

1. Utilizando a voz, o utilizador pede à aplicação do assistente de voz para ligar as luzes exteriores da casa.Using voice, the user asks the voice assistant app to turn on the exterior house lights.
2. Utilizando o SDK de discurso, a aplicação conecta-se ao Discurso de Linha Direta.Using the Speech SDK, the app connects to Direct Line Speech. Se as palavras-chave forem confirmadas pela Verificação de Palavras-Chave, a fala é transcrita para texto e enviada para o Serviço Bot.If keywords are confirmed by Keyword Verification, the speech is transcribed to text and sent to the Bot Service.
3. O Serviço Bot liga-se ao serviço de Compreensão de Línguas (LUIS).The Bot Service connects to Language Understanding service (LUIS). LUIS permite que uma aplicação compreenda o que uma pessoa quer nas suas próprias palavras.LUIS allows an application to understand what a person wants in their own words. A intenção do pedido do utilizador (exemplo: TurnOnLight) é devolvida ao Serviço Bot.The intent of the user's request (example: TurnOnLight) is returned to the Bot Service.
4. O pedido é reencaminhado para o dispositivo.The request is relayed to the device.
   • Se o dispositivo estiver ligado ao Azure IoT Hub, o Bot Service liga-se à Azure IoT Hub Service API e envia o comando para o dispositivo utilizando um Método Direto, uma atualização para a Propriedade Desejada do do dispositivo, ou uma mensagem Cloud to Device.If the device is connected to Azure IoT Hub, Bot Service connects to Azure IoT Hub Service API and sends the command to the device using either a Direct Method, an update to the device twin's Desired Property, or a Cloud to Device message.
   • Se o dispositivo estiver ligado a uma nuvem IoT de terceiros, o Bot Service liga-se à API de serviço de terceiros e envia um comando para o dispositivo.If the device is connected to a third party IoT cloud, Bot Service connects to the third-party service API and sends a command to the device.
5. O Bot devolve os resultados do comando ao utilizador gerando uma resposta que inclui o texto para falar.The Bot returns the results of the command to the user by generating a response that includes the text to speak.
6. A resposta é transformada em áudio usando o serviço Text-to-speech e transmitida de volta para a aplicação de assistente de voz por Direct Line Speech.The response is turned into audio using the Text-to-speech service and passed back to the voice assistant app by Direct Line Speech.
7. Application Insights reúne telemetria de tempo de execução para ajudar no desenvolvimento com desempenho e utilização de botsApplication Insights gathers runtime telemetry to help development with bot performance and usage
8. O Azure App Service acolhe a aplicação Bot Service.Azure App Service hosts the Bot Service application.

ComponentesComponents

1. Documentação dos assistentes de vozVoice assistants documentation
2. Tutorial: Ativar a voz do seu bot utilizando o SDK de discursoTutorial: Voice-enable your bot using the Speech SDK
3. O que é discurso de linha diretaWhat is Direct Line Speech
4. Azure Bot ServiceAzure Bot Service
5. Conversão de Voz em TextoSpeech to Text
6. Conversão de Texto em VozText to Speech
7. Palavras-chave personalizadasCustom Keywords
8. Serviço de Compreensão de Línguas (LUIS)Language Understanding Service (LUIS)
9. Hub IoT do AzureAzure IoT Hub

Passos seguintesNext steps

• Para aprender a criar uma app LUIS e adicionar intenções à sua app, consulte estes artigos:To learn how to create a LUIS app and add intents to your app, see these articles:
  • Criar uma aplicação LUISCreate a LUIS app
  • Adicione uma intenção e treine uma aplicação LUISAdd an intent and train a LUIS app
• Saiba mais sobre a adição de uma app LUIS a um bot, incluindo:Learn more about adding a LUIS app to a bot, including:
  • Como criar um bot usando o Serviço Azure BotHow to create a bot by using the Azure Bot Service
  • Como adicionar compreensão de linguagem natural (LUIS) a um botHow to add natural language understanding (LUIS) to a bot
• Saiba mais sobre vários métodos que pode utilizar para enviar comandos para um dispositivo IoT utilizando o Azure IoT Hub,incluindo:Learn about various methods you can use to send commands to an IoT device by using Azure IoT Hub, including:
  • Envio de comandos nuvem-a-dispositivoSending cloud-to-device commands
  • Usando gémeos de dispositivoUsing device twins
  • Usando métodos diretosUsing direct methods
• Aprenda a construir um bot de conversação de nível empresarial utilizando o Serviço Azure Bot.Learn how to build an enterprise-grade conversational bot by using the Azure Bot Service.
• Para saber mais sobre o desenvolvimento de soluções utilizando o IoT Hub, consulte o guia de desenvolvimento do Azure Iot Hub.To learn more about developing solutions by using IoT Hub, see the Azure Iot Hub developer guide.