Изменить

Аналитика IoT с Azure Data Explorer

Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins

Идеи решения

Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.

Эта идея решения описывает, как azure Data Обозреватель обеспечивает практически в реальном времени аналитику для быстрого потокового потока, потоковой передачи данных из Интернета вещей (IoT) устройств и датчиков. Этот рабочий процесс аналитики является частью общего решения Интернета вещей, которое интегрирует операционные и аналитические рабочие нагрузки с Azure Cosmos DB и Azure Data Обозреватель.

Jupyter является товарным знаком соответствующей компании. Никакое подтверждение не подразумевается использованием этого знака. Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема, на которой показана аналитика телеметрии Интернета вещей с помощью Обозреватель данных Azure.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Центры событий Azure, Центр Интернета вещей Azure или Kafka прием разнообразных потоковых данных, таких как журналы, бизнес-события и действия пользователей.

  2. Функции Azure или Azure Stream Analytics обрабатывают данные практически в режиме реального времени.

  3. Azure Cosmos DB хранит потоковые сообщения в формате JSON для обслуживания операционного приложения в режиме реального времени.

  4. Данные Azure Обозреватель приема данных для аналитики, используя свои соединители для Центры событий Azure, Центр Интернета вещей Azure или Kafka для низкой задержки и высокой пропускной способности.

    Кроме того, вы можете получать большие двоичные объекты из учетной записи Хранилище BLOB-объектов Azure или Azure Data Lake служба хранилища в azure Data Обозреватель с помощью подключения к данным сетки событий.

    Вы также можете непрерывно экспортировать данные в служба хранилища Azure в сжатых, секционированных форматах Apache Parquet и легко запрашивать данные с помощью Azure Data Обозреватель. Дополнительные сведения см. в обзоре непрерывного экспорта данных.

  5. Для обслуживания вариантов оперативного и аналитического использования данные могут направляться в Azure Data Обозреватель и Azure Cosmos DB параллельно или из Azure Cosmos DB в Azure Data Обозреватель.

    • Транзакции Azure Cosmos DB могут активировать Функции Azure через канал изменений. Функции будут передавать данные в Центры событий для приема данных Azure Обозреватель.

      or

    • Функции Azure может вызывать Azure Digital Twins через свой API, который затем передает данные в Центры событий для приема данных Azure Обозреватель.

  6. Следующие интерфейсы получают аналитические сведения из данных, хранящихся в azure Data Обозреватель:

  7. Azure Data Обозреватель интегрируется с Azure Databricks и Машинное обучение Azure для предоставления служб машинного обучения. Вы также можете создавать модели машинного обучения с помощью других средств и служб и экспортировать их в azure Data Обозреватель для оценки данных.

Компоненты

Эта идея решения использует следующие компоненты Azure:

Azure Data Explorer

Azure Data Обозреватель — это быстрая, полностью управляемая и высокомасштабируемая служба аналитики больших данных. Обозреватель данных Azure может анализировать большие объемы потоковых данных из приложений, веб-сайтов и устройств Интернета вещей практически в реальном времени для обслуживания приложений и панелей мониторинга аналитики.

Azure Data Обозреватель предоставляет встроенную расширенную аналитику для:

Веб-интерфейс Azure Data Обозреватель подключается к кластерам azure Data Обозреватель для записи, запуска и совместного использования команд и запросов язык запросов Kusto. Панели мониторинга Обозреватель данных Azure — это функция веб-интерфейса Обозреватель данных, экспортирующих запросы Kusto в оптимизированные панели мониторинга.

Другие компоненты Azure

  • Azure Cosmos DB — это полностью управляемая служба базы данных NoSQL для современной разработки приложений с открытыми API для любого масштаба.
  • Azure Digital Twins хранит цифровые модели физических сред, чтобы создать решения Интернета вещей следующего поколения, которые моделируют реальный мир.
  • Центры событий Azure — это полностью управляемая служба приема данных в режиме реального времени.
  • Центр Интернета вещей Azure обеспечивает двунаправленную связь между устройствами Интернета вещей и облаком Azure.
  • Azure Synapse Link для Azure Cosmos DB выполняет аналитику практически в режиме реального времени по операционным данным в Azure Cosmos DB без какого-либо влияния на производительность или затраты на рабочие нагрузки транзакций. Synapse Link использует подсистемы аналитики пулов SQL Serverless и Spark из рабочей области Azure Synapse.
  • Kafka в HDInsight — это простая, эффективная, корпоративная служба для аналитики с открытым кодом с помощью Apache Kafka.

Подробности сценария

Это решение использует azure Data Обозреватель для получения аналитики телеметрии Интернета вещей в режиме реального времени для быстрого потокового потокового потока данных с различных устройств Интернета вещей.

Потенциальные варианты использования

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Автор субъекта:

Следующие шаги