Что такое Azure Data Explorer?

  • Статья

Azure Data Explorer — это полностью управляемая высокопроизводительная платформа для анализа больших данных, которая позволяет легко анализировать большие объемы данных почти в реальном времени. Набор средств Azure Data Explorer предоставляет собой комплексное решение для приема данных, отправки запросов, визуализации и управления.

Анализируя структурированные, частично структурированные и неструктурированные данные во временных рядах и используя машинное обучение, Azure Data Explorer упрощает извлечение ключевых аналитических сведений, выявление закономерностей и тенденций, а также создание моделей прогнозирования. Azure Data Explorer использует традиционную реляционную модель, упорядочивая данные в таблицы со строго типизированными схемами. Таблицы хранятся в базах данных, и кластер может управлять несколькими базами данных. Azure Data Explorer — это масштабируемая защищенная надежная служба, готовая к использованию на предприятиях. Она подходит для анализа журналов, временных рядов, Интернета вещей и исследовательской аналитики общего назначения.

Возможности Azure Data Explorer расширяются другими службами, основанными на языке запросов: язык запросов Kusto (KQL). К этим службам относятся журналы Azure Monitor, Application Insights, Аналитика временных рядов и Microsoft Defender для конечной точки.

Когда следует использовать Azure Data Explorer?

Чтобы понять, подходит ли Azure Data Explorer для вашего варианта использования, используйте следующие вопросы:

  • Интерактивная аналитика. Входят ли в состав решения возможности интерактивного анализа, например агрегирование, корреляция или обнаружение аномалий?
  • Разнообразие, скорость, объем. Насколько разнообразна ваша схема? Требуется ли прием больших объемов данных почти в реальном времени?
  • Упорядочение данных. Нужно ли анализировать необработанные данные? Это может быть, например, не полностью курированная схема типа "звезда".
  • Параллелизм запросов. Будут ли использовать Azure Data Explorer несколько пользователей или процессов?
  • Сборка и покупка. Планируете ли вы настраивать платформу данных?

Azure Data Explorer идеально подходит для обеспечения интерактивной аналитики за счет возможности работать с различными необработанными данными с высокой скоростью. Чтобы понять, подходит ли вам Azure Data Explorer, используйте следующее дерево принятия решений:

Схематическое изображение рабочего процесса для дерева принятия решений Azure Data Explorer.

В чем уникальность обозревателя данных Azure?

Скорость получения данных, их разнообразие и объем

С помощью Azure Data Explorer вы можете принимать терабайты данных за несколько минут с помощью приема в очереди или потоковой передачи. Вы можете запрашивать петабайты данных, получая результаты в течение кратчайшего времени — от миллисекунды до секунды. Azure Data Explorer обеспечивает высокую скорость (миллионы событий в секунду), низкую задержку (несколько секунд) и линейный прием необработанных данных. Прием данных в различных форматах и структурах из различных конвейеров и источников.

Понятный язык запросов

Вы можете запрашивать данные в Azure Data Explorer с помощью языка запросов Kusto (KQL) с открытым кодом, изначально созданного нашими разработчиками. Этот язык прост в понимании и освоении, а также является высокопродуктивным. Можно использовать простые операторы и расширенную аналитику. Azure Data Explorer также поддерживает T-SQL.

Расширенная аналитика

Используйте Azure Data Explorer для анализа временных рядов с большим набором функций, включая: сложение и вычитание временных рядов, фильтрацию, регрессию, определение сезонности, геопространственный анализ, обнаружение аномалий, сканирование и прогнозирование. Функции временных рядов оптимизированы для обработки тысяч временных рядов за считаные секунды. Обнаружение шаблонов упрощено за счет подключаемых модулей кластера, которые позволяют диагностировать аномалии и выполнять анализ первопричин. Вы также можете расширить возможности Azure Data Explorer, внедрив код Python в запросы KQL.

Простой в использовании мастер

Мастер приема данных упрощает этот процесс, делая его быстрым и интуитивно понятным. Интуитивно понятный интерактивный пользовательский веб-интерфейс Azure Data Explorer помогает быстро начать прием данных, создание таблиц баз данных и сопоставление структур. Он обеспечивает однократный или непрерывный прием данных из различных источников и в различных форматах. Сопоставления таблиц и схемы предлагаются автоматически, и их легко изменить.

Универсальная визуализация данных

Визуализация данных позволяет получить важные аналитические сведения. Azure Data Explorer предлагает встроенную визуализацию и панели мониторинга с поддержкой различных диаграмм и визуализаций. В этой службе есть встроенная интеграция с Power BI, встроенные соединители для Grafana, Kibana и Databricks, поддержка ODBC для Tableau, Sisense, Qlik и другие возможности.

Автоматические прием, обработка и экспорт данных

Azure Data Explorer поддерживает функции, хранимые на стороне сервера, непрерывный прием и непрерывный экспорт в хранилище Azure Data Lake. Служба также поддерживает преобразования сопоставления времени приема данных на стороне сервера, политики обновления и предварительно вычисленные запланированные статистические выражения с материализованными представлениями.

Схема работы с обозревателем данных Azure

На схеме ниже показаны различные аспекты работы с обозревателем данных Azure.

Схема работы с Azure Data Explorer.

В целом взаимодействие с Azure Data Explorer представляет собой следующий рабочий процесс:

Примечание

Доступ к ресурсам Azure Data Explorer можно получить в пользовательском веб-интерфейсе Azure Data Explorer или с помощью пакетов SDK.

  1. Создание базы данных. Создайте кластер, а затем создайте в нем одну или несколько баз данных. Каждый кластер Azure Data Explorer может содержать до 10 000 баз данных, а каждая база данных — до 10 000 таблиц. Данные в каждой таблице хранятся в сегментах данных, также называемых "экстентами". Все данные автоматически индексируются и секционируются на основе времени приема. Это означает, что вы можете хранить множество разнообразных данных и ввиду способа их хранения получаете быстрый доступ к запросам. Краткое руководство. Создание кластера и базы данных обозревателя данных Azure

  2. Прием данных. Загрузите данные в таблицы базы данных, чтобы к ним можно было выполнять запросы. Azure Data Explorer поддерживает несколько методов приема, каждый из которых имеет собственные целевые сценарии. К таким методам относятся средства приема, соединители и подключаемые модули для различных служб, управляемые конвейеры, программный прием с помощью пакетов SDK и прямой доступ к приему. Начните работу с мастером приема данных.

  3. База данных запросов. В Azure Data Explorer используется язык запросов Kusto — выразительный, интуитивно понятный и высокопроизводительный язык запросов. Он обеспечивает плавный переход от простых однострочных скриптов к сложным сценариям обработки данных, а также поддерживает выполнение запросов к структурированным, частично структурированным и неструктурированным (текстовым) данным. В этом языке запросов есть множество операторов и функций (агрегирование, фильтрация, функции временных рядов, геопространственные функции, соединения, объединения и т. д.). KQL поддерживает запросы между кластерами и между базами данных, а также обладает широкими возможностями с точки зрения синтаксического анализа (JSON, XML и т. д.). Кроме того, этот язык изначально поддерживает расширенную аналитику.

    Используйте веб-приложение для запуска, просмотра и совместного использования запросов и результатов. Вы также можете отправлять запросы программным способом (с помощью пакета SDK) или отправлять их в конечную точку REST API. Если вы знакомы с SQL, начните работу при помощи памятки по преобразованию из SQL в Kusto. Краткое руководство. Запрос данных в пользовательском веб-интерфейсе Azure Data Explorer

  4. Визуализация результатов. Используйте различные варианты визуального отображения данных на собственных панелях мониторинга Azure Data Explorer. Результаты также можно отображать с помощью соединителей для некоторых наиболее популярных служб визуализации, таких как Power BI и Grafana. Azure Data Explorer также поддерживает соединители ODBC и JDBC для таких средств, как Tableau и Sisense.

Отправка отзыва

Мы будем рады получить ваши отзывы об Azure Data Explorer и языке запросов Kusto на следующих сайтах:

См. также