Изменить

Использование аналитики больших данных с Azure Data Explorer

Azure Data Explorer
Центры событий Azure
Центр Интернета вещей Azure
Хранилище Azure
Azure Synapse Analytics

Идеи, связанные с решением

Эта статья является идеей решения. Если вы хотите, чтобы мы дополнили содержимое дополнительными сведениями, такими как возможные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценообразованию, сообщите нам об этом, предоставив отзыв на GitHub.

Эта идея решения демонстрирует аналитику больших данных в больших объемах высокоскоростных данных из различных источников.

Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и (или) других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема, показывающая аналитику больших данных с помощью Azure Data Explorer.

Скачайте файл Visio этой архитектуры.

Поток данных

  1. Необработанные структурированные, частично структурированные и неструктурированные (свободные текстовые) данные, такие как журналы любого типа, бизнес-события и действия пользователей, можно принимать в Azure Data Explorer из различных источников.
  2. Прием данных в Azure Data Explorer с низкой задержкой и высокой пропускной способностью с помощью соединителей для Фабрика данных Azure, Центры событий Azure, Центр Интернета вещей Azure, Kafka и т. д. Кроме того, можно принимать данные через службу хранилища Azure (BLOB-объекты или ADLS 2-го поколения), которая использует Сетка событий Azure и запускает конвейер приема в Azure Data Explorer. Вы также можете непрерывно экспортировать данные в службу хранилища Azure в сжатом, секционированном формате Parquet и легко запрашивать эти данные, как описано в обзоре непрерывного экспорта данных.
  3. Экспорт предварительно агрегированных данных из Azure Data Explorer в службу хранилища Azure, а затем прием данных в Synapse Analytics для создания моделей данных и отчетов.
  4. Используйте собственные возможности Azure Data Explorer для обработки, агрегирования и анализа данных. Чтобы быстро получать аналитические сведения, создавайте панели мониторинга аналитики практически в реальном времени с помощью панелей мониторинга Azure Data Explorer, Power BI, Grafana или других средств. Используйте Azure Synapse Analytics для создания современного хранилища данных и объединения его с данными azure Data Explorer для создания отчетов бизнес-аналитики по курируемым и агрегированным моделям данных.
  5. Azure Data Explorer предоставляет собственные расширенные возможности аналитики для анализа временных рядов, распознавания шаблонов, обнаружения аномалий и прогнозирования, а также машинного обучения. Azure Data Explorer также хорошо интегрирована со службами машинного обучения, такими как Databricks и Машинное обучение Azure. Такая интеграция позволяет создавать модели с помощью других средств и служб, а также экспортировать модели машинного обучения в Azure Data Explorer для оценки данных.

Компоненты

  • Центры событий Azure. Полностью управляемая служба приема данных в режиме реального времени, которая является простой, надежной и масштабируемой.
  • Центр Интернета вещей Azure: управляемая служба для обеспечения двунаправленного взаимодействия между устройствами Интернета вещей и Azure.
  • Kafka в HDInsight: простая, экономически эффективная служба корпоративного уровня для открытый код аналитики с помощью Apache Kafka.
  • Azure Data Explorer. Быстрая, полностью управляемая и масштабируемая служба аналитики данных для анализа в режиме реального времени больших объемов потоковой передачи данных из приложений, веб-сайтов, устройств Интернета вещей и т. д.
  • Панели мониторинга Azure Data Explorer. Изначально экспортируйте запросы Kusto, которые были изучены в пользовательском веб-интерфейсе, в оптимизированные панели мониторинга.
  • Azure Synapse Analytics: служба аналитики, объединяющая хранилище корпоративных данных и аналитику больших данных.

Сведения о сценарии

Потенциальные варианты использования

Это решение иллюстрирует, как azure Data Explorer и Azure Synapse Analytics дополняют друг друга для аналитики практически в реальном времени и современных вариантов использования хранилищ данных.

Это решение уже используется клиентами Майкрософт. Например, сингапурская компания Grab, базирующаяся в Сингапуре, реализовала аналитику в режиме реального времени по огромному объему данных, собранных из своих служб доставки такси и продуктов питания, а также из приложений партнеров по продавцам. Команда из Grab представила свое решение в MS Ignite в этом видео (20:30 и более поздних). Используя этот шаблон, Захват обрабатывал более триллиона событий в день.

Это решение оптимизировано для розничной отрасли.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими участниками.

Основной автор:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Дальнейшие действия