Идеи, связанные с решением
Эта статья — идея решения. Если вы хотите, чтобы мы дополнили содержимое дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам об этом, предоставив отзыв на GitHub.
Эта идея решения демонстрирует прием больших объемов журналов сети доставки содержимого (CDN) с низкой задержкой и высокой пропускной способностью. Эти данные можно использовать для создания панелей мониторинга аналитики практически в реальном времени.
Архитектура
Скачайте файл Visio этой архитектуры.
Поток данных
- Поставщики сети доставки содержимого, такие как Verizon и Fastly, используют огромное количество журналов CDN в Azure Data Explorer для анализа задержек, работоспособности и производительности ресурсов CDN.
- Большинство сценариев CDN используют службу хранилища Azure (BLOB-объекты или ADLS 2-го поколения), которая использует Сетка событий Azure и запускает конвейер приема в Azure Data Explorer. Кроме того, можно выполнить массовый прием данных с помощью средства LightIngest. Вы также можете непрерывно экспортировать данные в службу хранилища Azure в сжатом, секционированном формате Parquet и легко запрашивать эти данные, как описано в статье Обзор непрерывного экспорта данных.
- Azure Data Explorer предоставляет простые в использовании собственные операторы и функции для обработки, агрегирования и анализа данных временных рядов и журналов, а также для оперативного предоставления аналитических сведений. Вы можете создавать панели мониторинга аналитики практически в реальном времени с помощью панелей мониторинга Azure Data Explorer, Power BI или Grafana.
- Создание и планирование оповещений и уведомлений с помощью соединителя Azure Data Explorer для Azure Logic Apps.
Компоненты
- Соединитель azure Data Explorer службы хранилища Azure: непрерывный прием из службы хранилища Azure (хранилища BLOB-объектов и ADLSv2) с Сетка событий Azure подпиской для потоковой передачи этих уведомлений в azure Data Explorer.
- Azure Data Explorer. Быстрая, полностью управляемая и масштабируемая служба аналитики данных для анализа больших объемов потоковой передачи данных из приложений, веб-сайтов, устройств Интернета вещей и многого другого в режиме реального времени.
- Панели мониторинга Azure Data Explorer. Изначально экспортируйте запросы Kusto, которые были изучены в пользовательском веб-интерфейсе, в оптимизированные панели мониторинга.
- Соединитель Azure Logic Apps azure Data Explorer. Автоматически выполняйте запросы и команды Kusto в рамках запланированной или активированной задачи.
Сведения о сценарии
Это решение можно использовать для приема больших объемов журналов CDN с целью создания панелей мониторинга аналитики практически в реальном времени.
Потенциальные варианты использования
- Служба Log Analytics
- Аналитика временных рядов
- Интернет вещей
- Исследовательская аналитика общего назначения
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими авторами.
Основной автор:
- Орнат Сподек | Старший диспетчер содержимого
Дальнейшие действия
Дополнительные сведения см. в документации по Azure Data Explorer.