Изменить

Управление устройствами Интернета вещей с помощью приложения голосовой помощник

Azure AI Служба Bot
Центр Интернета вещей Azure
Службы ИИ Azure
Речь об искусственном интеллекте Azure

Идеи решения

Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.

Эта идея решения описывает создание голосовых интерфейсов с устройствами Интернета вещей (IoT). Вы можете объединить службу распознавания речи Azure, службу Распознавание речи (LUIS) и Azure Bot Framework для создания естественных, человеческих интерфейсов, которые управляют устройствами Интернета вещей с помощью Центр Интернета вещей Azure.

Потенциальные варианты использования

  • Управляйте устройствами, доступными в Интернете, такими как телевизоры и холодильники с помощью голосовой команды.
  • С помощью голосового и естественного языка можно сообщать о проблемах с устройствами, подключенными к Интернету.

Архитектура

Diagram showing the architecture of a voice assistant app.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Через голосовое устройство пользователь просит приложение голосовой помощник включить внешний свет дома.

  2. Приложение подключается к каналу direct Line Speech Служба Bot с помощью пакета SDK службы "Речь Azure". Когда распознавание ключевое слово подтверждает некоторые ключевое слово, функция direct Line Speech транскрибирует речь в текст и отправляет текст в приложение Служба Bot, размещенное в службе приложение Azure.

  3. Служба Bot подключается к службе Распознавание речи (LUIS). LUIS определяет намерение запроса пользователя, TurnOnLight.

  4. LUIS возвращает намерение в Служба Bot.

  5. Если устройства подключены к Центр Интернета вещей Azure, Служба Bot передает запрос через Центр Интернета вещей Azure включить внешний свет. Служба Bot использует API Центр Интернета вещей для отправки команды на устройства с помощью прямых методов, обновления требуемого свойства двойника устройства или отправки сообщения об облаке на устройство.

    Если устройства подключены к сторонней установке Интернета вещей, Служба Bot подключается через сторонний API для отправки команды на устройства.

  6. Служба Bot возвращает результаты команды пользователю, создав ответ. Служба преобразования ответа в речь преобразует ответ в звук и передает его обратно в приложение помощник голосовой связи с прямой речью.

  7. Приложение Аналитика собирает данные телеметрии среды выполнения для разработки производительности и использования бота.

Компоненты

  • Служба Bot предоставляет интегрированную среду для разработки ботов.
  • Служба "Речь" предлагает ведущие в отрасли возможности распознавания речи, такие как речь в текст, преобразование речи и распознавание говорящего.
  • служба Распознавание речи (LUIS) применяет пользовательский интеллект машинного обучения к разговорному, естественному языку текст для прогнозирования смысла и извлечения соответствующих сведений.
  • Центр Интернета вещей — это центральный центр облачных сообщений для двунаправленного взаимодействия между приложениями и устройствами Интернета вещей.
  • Аналитика приложения — это функция Azure Monitor, которая обеспечивает расширяемое управление производительностью приложений и мониторинг для динамических веб-приложений.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Автор субъекта:

Следующие шаги