Управление устройствами Интернета вещей с помощью голосового помощника

Служба Bot
Речь
Центр Интернета вещей
Распознавание речи

Концепция решения Solution Idea

Если вы хотите ознакомиться с этой статьей, дополнительные сведения, сведения о реализации, рекомендации по ценам или примеры кода, сообщите нам о них.If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Создавайте удобные диалоговые интерфейсы со всеми вашими устройствами, подключенными к Интернету — от подключенного телевизора или холодильника до устройств в схеме управления питанием.Create seamless conversational interfaces with all of your internet-accessible devices-from your connected television or fridge to devices in a connected power plant. Комбинируя службу распознавания речи Azure, службу распознавание речи Service (Luis) и Azure Bot Framework, разработчики могут создавать естественные, человеческие в форме диалоговые интерфейсы для управления интеллектуальными устройствами с помощью центра Интернета вещей Azure.By combining Azure Speech Service, Language Understanding Service (LUIS) and Azure Bot Framework, developers can create natural, human-like conversational interfaces to control smart devices using Azure IoT Hub.

ArchitectureArchitecture

Диаграмма архитектуры

Поток данныхData flow

  1. С помощью голоса пользователь запрашивает у приложения "помощник по голосовам" возможность включить световой индикатор наружного дома.Using voice, the user asks the voice assistant app to turn on the exterior house lights.
  2. С помощью пакета SDK для распознавания речи приложение подключается к прямой речи.Using the Speech SDK, the app connects to Direct Line Speech. Если ключевые слова подтверждаются проверкой по ключевым словам, речь расшифрованной текст и отправляется в службу Bot.If keywords are confirmed by Keyword Verification, the speech is transcribed to text and sent to the Bot Service.
  3. Служба Bot подключается к службе Распознавание речи (LUIS).The Bot Service connects to Language Understanding service (LUIS). LUIS позволяет приложению понять, что хочет пользователь в своих словах.LUIS allows an application to understand what a person wants in their own words. Цель запроса пользователя (например: Турнонлигхт) возвращается в службу Bot.The intent of the user's request (example: TurnOnLight) is returned to the Bot Service.
  4. Запрос передается на устройство.The request is relayed to the device.
    • Если устройство подключено к центру Интернета вещей Azure, служба Bot подключается к API службы центра Интернета вещей Azure и отправляет команду на устройство с помощью прямого метода, обновления требуемого свойства двойникаа устройства или сообщения из облака на устройство.If the device is connected to Azure IoT Hub, Bot Service connects to Azure IoT Hub Service API and sends the command to the device using either a Direct Method, an update to the device twin's Desired Property, or a Cloud to Device message.
    • Если устройство подключено к стороннему облаку IoT, служба Bot подключается к стороннему API службы и отправляет команду на устройство.If the device is connected to a third party IoT cloud, Bot Service connects to the third-party service API and sends a command to the device.
  5. Bot возвращает результаты команды пользователю, создавая ответ, включающий текст для диктовки.The Bot returns the results of the command to the user by generating a response that includes the text to speak.
  6. Ответ передается в звук, используя службу преобразования текста в речь, и возвращается в приложение голосового помощника путем прямого перевода строки.The response is turned into audio using the Text-to-speech service and passed back to the voice assistant app by Direct Line Speech.
  7. Application Insights собирает данные телеметрии времени выполнения, чтобы упростить разработку с использованием ленты и производительности и использования.Application Insights gathers runtime telemetry to help development with bot performance and usage
  8. Служба приложений Azure размещает приложение-службу Bot.Azure App Service hosts the Bot Service application.

КомпонентыComponents

  1. Документация по голосовым помощникамVoice assistants documentation
  2. Учебник. Включение программы-робота с помощью речевого пакета SDKTutorial: Voice-enable your bot using the Speech SDK
  3. Что такое прямое речевое распознаваниеWhat is Direct Line Speech
  4. Служба Azure BotAzure Bot Service
  5. Преобразование речи в текстSpeech to Text
  6. Преобразование текста в речьText to Speech
  7. Пользовательские ключевые словаCustom Keywords
  8. Служба Распознавание речи (LUIS)Language Understanding Service (LUIS)
  9. Центр Интернета вещей AzureAzure IoT Hub

Дальнейшие действияNext steps