Визуализация данных из Azure Data Explorer в Grafana

Grafana — это аналитическая платформа, на которой можно запрашивать и визуализировать данные, а затем создавать и совместно использовать панели мониторинга на основе визуализаций. Grafana предоставляет подключаемый модуль Azure Data Explorer, который позволяет подключаться к azure Data Explorer и визуализировать данные из них. Подключаемый модуль работает как с Azure Managed Grafana , так и с локальной Grafana.

Из этой статьи вы узнаете, как настроить кластер в качестве источника данных для Grafana и визуализировать данные в Grafana для Управляемой Azure И локальной Grafana. Чтобы следовать примерам в этой статье, необходимо принять примеры данных StormEvents. Пример набора данных StormEvents содержит данные, связанные с погодой, из Национальных центров экологической информации.

Предварительные требования

• Для Управляемой Azure Grafana — учетной записи Azure и экземпляра Azure Managed Grafana .
• Для локальной Grafana, Grafana версии 5.3.0 или более поздней для операционной системы и подключаемого модуля Azure Data Explorer для Grafana. Для использования построителя запросов Grafana требуется подключаемый модуль версии 3.0.5 или более поздней.
• Кластер и база данных Azure Data Explorer. Вы можете создать бесплатный кластер или полный кластер. Чтобы выбрать оптимальный вариант, проверка сравнение функций.

Настройка источника данных

Чтобы настроить Data Explorer Azure в качестве источника данных, выполните действия для среды Grafana.

Управление Azure для Grafana

Добавление управляемого удостоверения в роль "Просмотр"

Managed Grafana по умолчанию создает управляемое удостоверение, назначаемое системой, для каждой новой рабочей области. Его можно использовать для доступа к кластеру azure Data Explorer.

1. На портале Azure перейдите к кластеру Azure Data Explorer.

2. В разделе Обзор выберите базу данных с примерами данных StormEvents .

   

3. Выберите Разрешения>Добавить>средство просмотра.

   

4. В поле поиска введите имя рабочей области Managed Grafana.

5. В результатах поиска выберите результат, соответствующий имени рабочей области, и нажмите кнопку Выбрать.

   

Настройка Data Explorer Azure в качестве источника данных Grafana

Управляемые рабочие области Grafana поставляются с предварительно установленным подключаемым модулем Azure Data Explorer.

1. В портал Azure перейдите к рабочей области Managed Grafana.

2. В разделе Обзор выберите ссылку Конечная точка , чтобы открыть пользовательский интерфейс Grafana.

3. В меню Grafana слева щелкните значок шестеренки. Затем выберите Источники данных.

   

4. Выберите Источник данных Azure Data Explorer.

   

5. В разделе Сведения о подключении введите URL-адрес кластера azure Data Explorer.

   

6. Щелкните Save & Test (Сохранить и протестировать).

Локальная Grafana

Создание субъекта-службы

Субъект-службу можно создать в портал Azure или с помощью интерфейса командной строки Azure CLI. После создания субъекта-службы вы получите значения для четырех свойств подключения, которые будут использоваться на последующих шагах.

Портал Azure

1. Следуйте инструкциям в документации по портал Azure. Используйте следующие сведения:

   1. В разделе Назначение приложению роли присвойте роль с типом Читатель используемому кластеру Azure Data Explorer.

   2. В разделе Получение значений для входа скопируйте значения трех свойств, описанных в шагах: идентификатор каталога (идентификатор клиента), идентификатор приложения и пароль.

2. На портале Azure выберите Подписки. Затем скопируйте идентификатор подписки, в которой был создан субъект-служба.

   

Azure CLI

1. Используйте следующую команду, чтобы создать субъект-службу. Задайте нужную область и тип роли reader.

   az ad sp create-for-rbac --name "https://{UrlToYourDashboard}:{PortNumber}" --role "reader" \
                            --scopes /subscriptions/{SubID}/resourceGroups/{ResourceGroupName}
   

   Дополнительные сведения см. в статье Создание субъекта-службы Azure с помощью Azure CLI.

2. Команда возвращает результирующий набор, как показано в следующем примере. Скопируйте значения свойств appId, passwordи tenant .

   {
     "appId": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX",
     "displayName": "{UrlToYourDashboard}:{PortNumber}",
     "name": "https://{UrlToYourDashboard}:{PortNumber}",
     "password": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX",
     "tenant": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX"
   }
   

3. Получите список подписок:

   az account list --output table
   

   Скопируйте идентификатор соответствующей подписки.

   

Добавление субъекта-службы в роль средства просмотра

Теперь, когда у вас есть субъект-служба, вы добавляете его в роль зрителя в базе данных azure Data Explorer. Это действие можно выполнить в разделе Разрешения на портале Azure или в разделе Запрос с помощью команды управления.

портал Azure: разрешения

1. На портале Azure перейдите к кластеру Azure Data Explorer.

2. В разделе Обзор выберите базу данных с примерами данных StormEvents.

   

3. Выберите Разрешения>Добавить.

   

4. В разделе Добавление разрешений базы данных выберите роль Зритель , а затем выберите Выбрать субъекты.

   

5. Найдите созданный субъект-службу. Выберите субъект и нажмите кнопку Выбрать.

   

6. Щелкните Сохранить.

   

Команда управления: Запрос

1. В портал Azure перейдите к кластеру Azure Data Explorer и выберите Запрос.

   

2. Выполните приведенную ниже команду в окне запроса. Используйте идентификатор приложения и идентификатор клиента из портал Azure или Azure CLI.

   .add database {TestDatabase} viewers ('aadapp={ApplicationID};{TenantID}')
   

   Команда возвращает результирующий набор. В следующем примере первая строка для существующего пользователя в базе данных. Вторая строка — для только что добавленного субъекта-службы.

   

Настройка свойств и тестирование подключения

Теперь, когда субъекту-службе назначена роль зрителя, вы указываете свойства в экземпляре Grafana и проверяете подключение к Azure Data Explorer.

1. В меню Grafana слева щелкните значок шестеренки. Затем выберите Источники данных.

   

2. Выберите Add data source(Добавить источник данных).

3. На странице Источники данных / Создание введите имя источника данных, а затем выберите тип Azure Data Explorer Источник данных.

   

4. В разделе Параметры Сведения>о подключении введите имя кластера в форме https://{ClusterName}.{Region}.kusto.windows.net. Введите другие значения из портал Azure или Azure CLI. Используйте следующие сведения о сопоставлении в качестве руководства.

   Пользовательский интерфейс Grafana	Портал Azure	Azure CLI
   идентификатор подписки;	ИДЕНТИФИКАТОР ПОДПИСКИ	SubscriptionId
   Идентификатор клиента	Идентификатор каталога	tenant
   Идентификатор клиента	Идентификатор приложения	appId
   Секрет клиента	Пароль	password

   

5. Щелкните Save & Test (Сохранить и протестировать).

   Если тест завершится успешно, переходите к следующему разделу. При возникновении проблем проверка значения, указанные в Grafana, и просмотрите предыдущие шаги.

Оптимизация запросов

Для оптимизации запросов можно использовать две функции:

• Оптимизация производительности отрисовки запросов панели мониторинга
• Разрешить слабую согласованность

Чтобы выполнить оптимизацию, внесите необходимые изменения в меню Источники данных>Параметры>Оптимизация запросов.

Оптимизация производительности отрисовки запросов панели мониторинга

Если панель мониторинга или визуальный элемент отрисовывается несколько раз одним или несколькими пользователями, по умолчанию Grafana отправляет по крайней мере один запрос в Azure Data Explorer. Включите кэширование результатов запросов, чтобы повысить производительность отрисовки панели мониторинга и снизить нагрузку на кластер azure Data Explorer.

В течение указанного диапазона времени Azure Data Explorer будет использовать кэш результатов для получения предыдущих результатов и не будет запускать ненужный запрос. Эта функция особенно эффективна для снижения нагрузки на ресурсы и повышения производительности, когда несколько пользователей используют одну панель мониторинга.

Чтобы включить отрисовку кэша результатов, выполните следующие действия в области Оптимизация запросов.

1. Отключите параметр Использовать динамическое кэширование.
2. В поле Максимальный возраст кэша введите количество минут, в течение которых необходимо использовать кэшированные результаты.

Разрешите слабую согласованность

Для кластеров настроена строгая согласованность. Эта конфигурация по умолчанию гарантирует, что результаты запроса будут актуальными со всеми изменениями в кластере.

При включении слабой согласованности результаты запроса могут иметь задержку от 1 до 2 минут после изменения кластера. Однако слабая согласованность может увеличить время визуализации. Если немедленная согласованность не является критически важной и производительность является незначительной, включите слабую согласованность, чтобы повысить производительность. Дополнительные сведения см. в разделе Согласованность запросов.

Чтобы включить слабую согласованность, на панели Оптимизация запросов выберите Согласованность> данныхСлабая.

Визуализируйте данные

Вы завершили настройку azure Data Explorer в качестве источника данных для Grafana. Теперь пришло время визуализировать данные.

В следующем базовом примере используется режим построителя запросов и необработанный режим редактора запросов. Мы рекомендуем просматривать запросы на запись для Azure Data Explorer, чтобы просмотреть примеры других запросов, выполняемых к набору данных.

1. В меню Grafana слева щелкните значок плюса. Затем выберите Панель мониторинга.

   

2. На вкладке Add (Добавить) выберите Graph (График).

   

3. На панели графа выберите Изменить заголовок> панели.

   

4. В нижней части панели выберите Источник данных, а затем выберите настроенный источник данных.

   

Режим построителя запросов

Используйте режим построителя запросов для определения запроса.

1. Под источником данных выберите База данных и выберите свою базу данных из раскрывающегося списка.

2. Выберите Из и выберите таблицу из раскрывающегося списка.

   

3. Теперь, когда таблица определена, отфильтруйте данные:

   1. Щелкните + справа от пункта Где (фильтр), чтобы выбрать один или несколько столбцов в таблице.
   2. Для каждого фильтра определите значения с помощью применимого оператора . Этот выбор аналогичен использованию оператора where в язык запросов Kusto.

4. Выберите значения для представления в таблице:

   1. Щелкните + справа от столбцов значения , чтобы выбрать столбцы значений, которые будут отображаться на панели.

   2. Для каждого столбца значений задайте тип агрегирования.

      Можно задать один или несколько столбцов значений. Этот выбор эквивалентен использованию оператора суммирования.

5. Щелкните + справа от элемента Группировать по (суммирование), чтобы выбрать один или несколько столбцов, которые будут использоваться для размещения значений по группам. Этот выбор эквивалентен выражению группы в операторе summarize .

6. Нажмите Выполнить запрос.

   

   Совет

   При завершении настройки параметров в построителе запросов создается запрос язык запросов Kusto. Этот запрос показывает логику, созданную с помощью графического редактора запросов.

7. Выберите Изменить KQL , чтобы перейти в необработанный режим. Измените запрос, используя гибкость и возможности язык запросов Kusto.

Режим необработанных данных

Для изменения запроса используйте режим необработанных данных.

1. В области запросов вставьте следующий запрос и выберите Выполнить. Запрос группирует количество событий по дням для примера набора данных.

   StormEvents
   | summarize event_count=count() by bin(StartTime, 1d)
   

   

2. На графике не отображаются результаты, так как область действия (по умолчанию) ограничена данными за последние шесть часов. В меню вверху выберите Last 6 hours (Последние 6 часов).

   

3. Укажите настраиваемый диапазон, охватывающий 2007 год, включенный в пример набора данных StormEvents. Затем выберите Применить.

   

   Теперь на графике отображаются данные за 2007 год по дням.

   

4. В верхнем меню выберите значок сохранения: .

Чтобы переключиться в режим построителя запросов, выберите Переключиться на построитель. Grafana преобразует запрос в доступную логику в построителе запросов. Логика построителя запросов ограничена, поэтому вы можете потерять изменения, внесенные вручную в запрос.

Создание оповещений

1. На домашней панели мониторинга выберитеКаналы уведомленийоповещений>, чтобы создать новый канал уведомлений.

   

2. Введите имя и введите в разделе Новый канал уведомлений, а затем нажмите кнопку Сохранить.

   

3. На панели мониторинга выберите Изменить в раскрывающемся списке.

   

4. Щелкните значок колокольчика оповещений, чтобы открыть панель Оповещения. Выберите Создать оповещение, а затем заполните свойства оповещения.

   

5. Выберите значок Сохранить панель мониторинга, чтобы сохранить изменения.

См. также

• Написание запросов для обозревателя данных Azure