Ideias de soluções
Este artigo é uma ideia de solução. Se você quiser que expandamos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações de implementação ou orientação de preços, informe-nos fornecendo feedback do GitHub.
Esta ideia de solução descreve como criar interfaces de conversação de voz com dispositivos de Internet das Coisas (IoT). Você pode combinar o Serviço de Fala do Azure, o Serviço de Compreensão de Idiomas (LUIS) e o Azure Bot Framework para criar interfaces naturais semelhantes às humanas que controlam dispositivos IoT por meio do Hub IoT do Azure.
Potenciais casos de utilização
- Controle dispositivos domésticos acessíveis pela Internet, como televisores e geladeiras, por comando de voz.
- Use voz e linguagem natural para relatar problemas com dispositivos conectados à IoT.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Através de um dispositivo de voz, o utilizador pede à aplicação assistente de voz para acender as luzes exteriores da casa.
O aplicativo se conecta ao canal do Serviço de Bot de Fala de Linha Direta usando o SDK de Fala do Azure. Quando o reconhecimento de palavras-chave confirma determinadas palavras-chave, a Fala de Linha Direta transcreve a fala para texto e envia o texto para o aplicativo Serviço de Bot hospedado no Serviço de Aplicativo do Azure.
O Serviço de Bot se conecta ao serviço de Compreensão de Idiomas (LUIS). LUIS determina a intenção da solicitação do usuário, TurnOnLight.
O LUIS retorna a intenção ao Serviço de Bot.
Se os dispositivos estiverem conectados ao Hub IoT do Azure, o Serviço de Bot retransmitirá a solicitação por meio do Hub IoT do Azure para acender as luzes externas. O Serviço de Bot usa a API do Hub IoT para enviar o comando para os dispositivos usando métodos diretos, atualizando a propriedade desejada do gêmeo do dispositivo ou enviando uma mensagem de nuvem para dispositivo.
Se os dispositivos estiverem conectados a uma instalação de IoT de terceiros, o Serviço de Bot se conectará por meio da API de terceiros para enviar um comando aos dispositivos.
O Serviço de Bot retorna os resultados do comando para o usuário gerando uma resposta. O serviço de conversão de texto em fala transforma a resposta em áudio e a passa de volta para o aplicativo de assistente de voz com Direct Line Speech.
O Application Insights reúne telemetria de tempo de execução para desempenho de bots e desenvolvimento de uso.
Componentes
- O Serviço de Bot fornece um ambiente integrado para o desenvolvimento de bots.
- O Serviço de Fala oferece recursos de fala líderes do setor, como conversão de fala em texto, conversão de texto em fala, tradução de fala e reconhecimento de oradores.
- O Language Understanding Service (LUIS) aplica inteligência de aprendizado de máquina personalizada ao texto conversacional em linguagem natural para prever o significado e extrair informações relevantes.
- O Hub IoT é um hub de mensagens central na nuvem para comunicações bidirecionais entre aplicativos e dispositivos IoT.
- O Application Insights é um recurso do Azure Monitor que fornece gerenciamento e monitoramento extensíveis de desempenho de aplicativos para aplicativos Web ao vivo.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Kevin Hilscher - Brasil | Gerente de Produto Principal, Azure IoT
Próximos passos
- Documentação de assistentes de voz
- Guia de início rápido: criar uma palavra-chave personalizada
- Criar um bot
- Tutorial: Habilite seu bot por voz usando o SDK de fala
- Adicionar compreensão de linguagem natural (LUIS) a um bot
- Criar uma aplicação LUIS
- Adicionar uma intenção e treinar um aplicativo LUIS
- Guia do desenvolvedor do Azure Iot Hub