Что такое Azure Data Explorer?
Начнем с определения службы и знакомства с основными возможностями Data Explorer. Эти сведения помогут решить, подходит ли эта служба для управления данными и их анализа.
Что такое Azure Data Explorer?
Azure Data Explorer — это платформа аналитики больших данных, которая упрощает анализ больших объемов данных почти в реальном времени. Позволяет извлекать ключевые аналитические сведения, точечные шаблоны и тенденции и создавать модели прогнозирования.
Набор средств Azure Data Explorer предоставляет собой комплексное решение для приема данных, отправки запросов, визуализации и управления. Эти средства позволяют анализировать структурированные, полуструктурированные и неструктурированные данные в временных рядах и применять Машинное обучение.
Azure Data Обозреватель полностью управляется, масштабируемо, безопасно, надежно и готово для предприятий. Это полезно для аналитики журналов, аналитики временных рядов, Интернета вещей и анализа общих целей.
Понимание больших данных
Если вы помните наш пример компании одежды, они имеют множество типов данных, поступающих из различных доменов. Они должны использовать различные типы аналитики для этих типов данных, а затем поделиться своими результатами с различными заинтересованными лицами. Компания планирует использовать Azure Data Explorer для получения полезных сведений из всех своих данных.
Производственное подразделение анализирует журналы производства для управления инвентаризацией и принятия решений относительно производства. Геопространственный анализ сообщает об этих решениях, которые используются для выявления географических областей высокопроизводительных объявлений и прогнозирования инвентаризации.
Хранилища компании оснащены устройствами IoT, некоторые из которых используются службой безопасности для управления журналами посещений производственных объектов, а другие применяются операционным отделом для мониторинга условий окружающей среды на складах. Отдельные магазины используют аналитику временных рядов для определения аномалий продаж и прогнозирования будущих событий инвентаризации.
Специалисты глобального отдела маркетинга используют сведения о посещениях (еще один вид анализа журналов), чтобы оптимизировать и сканировать рекламные кампании в Интернете и воронку клиентов, в то время специалисты отдела работы с клиентами используют текстовый поиск для анализа отзывов пользователей в социальных сетях.
Решения, принимаемые компанией каждую минуту в течение дня, основаны на данных, поступающих в Azure Data Explorer.
Каковы некоторые из основных функции Azure Data Explorer?
Теперь, когда вы имеете представление о возможностях Azure Data Explorer, давайте рассмотрим некоторые из его основных функций.
Скорость получения данных, их разнообразие и объем
Данные Azure Обозреватель могут получать терабайты данных в минутах в пакетном или потоковом режиме. Он может запрашивать петабайты данных и возвращать результаты в миллисекундах в секунды. Эта емкость обеспечивает высокую скорость (миллионы событий в секунду), низкую задержку (секунды) и линейное прием необработанных данных. Эти необработанные данные могут быть приема в различных форматах и структурах, и они могут передаваться из различных конвейеров и источников.
Понятный язык запросов
В Azure Data Explorer используется язык запросов Kusto (KQL), язык с открытым кодом, который был изначально создан группой. Этот язык прост в понимании и освоении, а также является высокопродуктивным. Можно использовать простые операторы и расширенную аналитику.
Расширенная аналитика
Обозреватель данных Azure имеет большой набор функций для анализа временных рядов. В том числе, добавление и вычитание временных рядов, фильтрация, регрессия, обнаружение сезонности, геопространственный анализ, обнаружение аномалий, сканирование и прогнозирование. Функции временных рядов оптимизированы для обработки тысяч временных рядов за считаные секунды. Обнаружение шаблонов упрощено за счет подключаемых модулей кластера, которые позволяют диагностировать аномалии и выполнять анализ первопричин. Вы также можете расширить возможности Azure Data Explorer, внедрив код Python в запросы KQL.
Простой в использовании мастер
Мастер приема данных упрощает этот процесс, делая его быстрым и интуитивно понятным. Пользовательский веб-интерфейс является интуитивно понятным и интерактивным, благодаря чему клиенты могут быстро приступить к приему данных, созданию таблиц базы данных и сопоставлению структур. Он обеспечивает однократное или непрерывное прием из различных источников в различных форматах данных. Сопоставления таблиц и схемы предлагаются автоматически, и их легко изменить.
Универсальная визуализация данных
Визуализация данных позволяет получить важные аналитические сведения. Azure Data Explorer предлагает встроенную визуализацию и панели мониторинга с поддержкой различных диаграмм и визуализаций. Также имеются встроенная интеграция с Power BI, собственные соединители для Grafana, Kibana и Databricks, поддержка ODBC для Tableau, Sisense, Qlik и т. д.
Автоматические прием, обработка и экспорт данных
Azure Data Explorer поддерживает функции, хранимые на стороне сервера, непрерывный прием и непрерывный экспорт в хранилище Azure Data Lake. Он также поддерживает преобразования сопоставлений времени приема на стороне сервера, политики обновления и предварительно вычисленные запланированные статистические выражения с материализованными представлениями.
Интеграция с другими службами
Решение с легкостью интегрируется с другими инструментами во всех аспектах рабочего процесса, таких как прием данных, визуализация, оркестрация и мониторинг.