Идеи, связанные с решением
Эта статья — идея решения. Если вы хотите, чтобы мы дополнили содержимое дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам об этом, предоставив отзыв на GitHub.
Эта идея решения демонстрирует использование интерактивной аналитики в Azure Data Explorer. В нем описывается, как можно изучить структурированные, частично структурированные и неструктурированные данные с помощью импровизированных интерактивных и быстрых запросов.
Jupyter является товарным знаком соответствующей компании. Использование этого знака не подразумевает подтверждения. Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и (или) других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.
Архитектура
Скачайте файл Visio этой архитектуры.
Поток данных
- Необработанные структурированные, частично структурированные и неструктурированные (свободные текстовые) данные, такие как журналы любого типа, бизнес-события и действия пользователей, можно принимать в Azure Data Explorer из различных источников. Прием данных в потоковом или пакетном режиме с помощью различных методов.
- Прием данных в Azure Data Explorer с низкой задержкой и высокой пропускной способностью с помощью соединителей для Фабрика данных Azure, Центры событий Azure, Центр Интернета вещей Azure, Kafka и т. д. Вместо этого следует принимать данные через службу хранилища Azure (BLOB-объект или ADLS 2-го поколения), которая использует Сетка событий Azure и запускает конвейер приема в Azure Data Explorer. Вы также можете непрерывно экспортировать данные в службу хранилища Azure в сжатом, секционированном формате Parquet и легко запрашивать эти данные, как описано в обзоре непрерывного экспорта данных.
- Выполняйте интерактивные запросы к небольшим или очень большим объемам данных с помощью собственных средств azure Data Explorer или альтернативных средств по своему выбору. Azure Data Explorer предоставляет множество подключаемых модулей и интеграций с остальной экосистемой платформы данных. Используйте любое из следующих средств и интеграций:
- Для интерактивной аналитики используйте веб-интерфейс Azure Data Explorer, веб-клиент для Azure Data Explorer или Kusto.Обозреватель, полнофункционированный клиент Windows для Azure Data Explorer.
- Чтобы подключиться к кластеру Azure Data Explorer, используйте записные книжки Jupyter, соединитель Spark, любой TDS-совместимый клиент SQL, а также подключения JDBC и ODBC.
- Для создания новых приложений или интеграции с существующими приложениями или платформами используйте REST API Azure Data Explorer и пакеты SDK, доступные на разных языках.
- Создавайте панели мониторинга аналитики практически в реальном времени с помощью панелей мониторинга Azure Data Explorer, Power BI или Grafana.
- Обогащение данных, выполняющих федеративные запросы, путем объединения данных из базы данных SQL и Azure Cosmos DB с помощью подключаемых модулей Azure Data Explorer.
Компоненты
- Центры событий Azure: полностью управляемая служба приема данных в режиме реального времени, которая является простой, доверенной и масштабируемой.
- Центр Интернета вещей Azure: управляемая служба для обеспечения двунаправленного обмена данными между устройствами Интернета вещей и Azure.
- Kafka в HDInsight: простая, экономически эффективная служба корпоративного уровня для аналитики с открытым кодом с помощью Apache Kafka.
- Фабрика данных Azure: гибридная служба интеграции данных, которая упрощает ETL в большом масштабе.
- Azure Data Explorer. Быстрая, полностью управляемая и масштабируемая служба аналитики данных для анализа больших объемов потоковой передачи данных из приложений, веб-сайтов, устройств Интернета вещей и многого другого в режиме реального времени.
- Панели мониторинга Azure Data Explorer. Изначально экспортируйте запросы Kusto, которые были изучены в пользовательском веб-интерфейсе, в оптимизированные панели мониторинга.
- Azure Cosmos DB. Полностью управляемая быстрая служба базы данных NoSQL для разработки современных приложений с открытыми API для любого масштаба.
- Azure SQL DB: создавайте приложения, масштабируемые в темпе вашего бизнеса, с помощью управляемого и интеллектуального SQL в облаке.
Сведения о сценарии
Эта идея решения демонстрирует, как использовать интерактивную аналитику с azure Data Explorer для изучения данных с помощью импровизированных, интерактивных и быстрых запросов к небольшим и очень большим объемам данных. Это исследование данных можно выполнить с помощью собственных средств Azure Data Explorer или альтернативных средств по своему усмотрению. В этом решении основное внимание уделяется интеграции Azure Data Explorer с остальной частью экосистемы платформы данных.
Потенциальные варианты использования
Это решение используется клиентами Майкрософт для отслеживания действий пользователей, управления профилями пользователей и сценариями сегментации пользователей.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими авторами.
Основной автор:
- Орнат Сподек | Старший диспетчер содержимого
Дальнейшие действия
Дополнительные сведения см. в документации по Azure Data Explorer.