Визуальный мониторинг фабрик данных Azure

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Создав и опубликовав конвейер в фабрике данных Azure, его можно связать с триггером или вручную запустить прямое выполнение. В пользовательском интерфейсе фабрики данных Azure по умолчанию можно отслеживать все выполнения конвейера. Чтобы открыть интерфейс мониторинга, выберите плитку Мониторинг и управление в колонке фабрики данных на портале Azure. Если вы уже находитесь в пользовательском интерфейсе ADF, щелкните значок Монитор на левой боковой панели.

По умолчанию все выполнения фабрики данных отображаются по времени часового пояса, который настроен в браузере. Если вы измените настройки часового пояса, все поля даты и времени автоматически переключатся на новый часовой пояс.

Мониторинг выполнений конвейера

Представление мониторинга по умолчанию — это список запущенных выполнений конвейера за выбранный период времени. Можно изменить диапазон времени и выполнить фильтрацию по состоянию, имени конвейера или заметке. Наведите указатель мыши на конкретное выполнение конвейера, чтобы отобразить действия, связанные с выполнением, такие как повторное выполнение и отчет о потреблении.

Screenshot of list view for monitoring pipeline runs.

Сетка выполнений конвейера содержит следующие столбцы.

Имя столбца Description
Имя конвейера Имя конвейера
Run Start Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ ЧЧ:ММ:СС).
Run End Дата и время окончания выполнения конвейера (ММ/ДД/ГГГГ, ЧЧ:ММ:СС)
Длительность Длительность выполнения (ЧЧ:ММ:СС)
Triggered By Имя триггера, который запускает конвейер.
Состояние Сбой, Выполнено, Выполняется, Отменено или В очереди.
Заметки Фильтруемые теги, связанные с конвейером.
Параметры Параметры для выполнения конвейера (пары "имя-значение").
Ошибка Если конвейер завершился сбоем, возникнет ошибка выполнения.
Выполнить Исходный, Повторный запуск или Повторный запуск (последний)
ИД запуска Идентификатор выполнения конвейера.

Нажмите кнопку Обновить, чтобы обновить список выполнений конвейера и действия. Автоматическое обновление сейчас не поддерживается.

 Screenshot of refresh button.

Чтобы просмотреть результаты выполнения отладки, перейдите на вкладку Отладка.

Screenshot of the view active debug runs icon.

Мониторинг выполнений действий

Чтобы получить подробные сведения об отдельных выполнениях действий конкретного выполнения конвейера, щелкните имя конвейера.

Screenshot of view activity runs.

Представление списка отображает выполнения действия, относящихся к каждому выполнению конвейера. Наведите указатель мыши на конкретное выполнение действия, чтобы отобразить относящиеся к выполнению сведения, такие как входные данные JSON, выходные данные JSON и подробные данные мониторинга, связанные с действием.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Имя столбца Description
Имя действия Имя действия в конвейере
Тип действия Тип действия, например Copy, ExecuteDataFlow или AzureMLExecutePipeline.
Действия Значки, позволяющие просматривать входные данные JSON, выходные данные JSON или подробные сведения о мониторинге действий.
Run Start Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ ЧЧ:ММ:СС).
Длительность Длительность выполнения (ЧЧ:ММ:СС)
Состояние Сбой, Выполнено, В очереди или Отменено.
Integration Runtime Тип Integration Runtime, использованный для запуска действия.
Свойства пользователя Свойства действия, определяемые пользователем.
Ошибка Если действие завершилось сбоем, возникнет ошибка выполнения.
ИД запуска Идентификатор выполнения действия.

Если действие завершилось сбоем, подробное сообщение об ошибке можно просмотреть, щелкнув значок в столбце "Ошибка".

Screenshot of a notification with error details including error code, failure type, and error details.

Распространение свойств пользователя для отслеживания

Можно повысить уровень любого свойства действия конвейера как свойства пользователя, чтобы сделать его сущностью, которую вы можете отслеживать. Например, можно повысить уровень свойств Источник и Назначение действия копирования в конвейере как свойств пользователя.

Примечание.

В качестве свойств пользователя можно повысить уровень только для пяти свойств действия конвейера.

Screenshot of create user properties.

Создав свойства пользователя, их можно отслеживать в представлениях списка мониторинга.

Screenshot of add columns for user properties to the activity runs list.

Если источник действия копирования является именем таблицы, можно отслеживать имя исходной таблицы как столбца в представлении списка выполнений действия.

Screenshot of activity runs list with columns for user properties.

Повторный запуск конвейеров и действий

Поведение действий контейнера при повторном выполнении выглядит следующим образом:

  • Wait – действие будет работать как раньше.
  • Set Variable – действие будет работать как раньше.
  • Filter – действие будет работать как раньше.
  • Until Действие оценивает выражение и будет выполняться циклически до тех пор, пока не будет выполнено условие. Внутренние действия все же могут быть пропущены на основе правил повторного запуска.
  • Foreach Действие всегда будет циклическим для элементов, которые оно получает. Внутренние действия все же могут быть пропущены на основе правил повторного запуска.
  • If and switch – оценка событий будет выполняться всегда. Будут оцениваться все внутренние действия. Внутренние действия по-прежнему могут быть пропущены в соответствии с правилами повторного запуска, но акты, такие как выполнение конвейера, будут повторно выполняться.
  • Execute pipeline activity – дочерний конвейер будет активирован, но все действия в дочернем конвейере по-прежнему могут быть пропущены в соответствии с правилами повторного запуска.

Чтобы повторно выполнить конвейер, который ранее выполнялся с самого начала, наведите указатель мыши на конкретное выполнение конвейера и нажмите кнопку Выполнить снова. Если выбрано несколько конвейеров, для выполнения их всех также можно воспользоваться кнопкой Выполнить снова.

Screenshot of rerun a pipeline.

Повторное выполнение с определенной точкой можно осуществить в представлении выполнений действий. Выберите действие, с которого нужно начать, и нажмите кнопку Выполнить повторно из действия.

Screenshot of rerun an activity run.

Вы также можете повторно запустить конвейер и изменить параметры. Нажмите кнопку Создать параметры, чтобы изменить параметры.

Screenshot of rerun an activity run with new parameters.

Примечание.

Повторное выполнение конвейера с новыми параметрами будет считаться новым запуском, поэтому не будет отображаться в группах повторного запуска конвейера.

Перезапуск с действия, завершившегося сбоем

Если действие завершилось сбоем, было отменено или время его ожидания истекло, выполнение конвейера можно повторно запустить с действия, завершившегося сбоем, выбрав пункт Выполнить снова.

Screenshot of rerun failed activity.

Просмотр журнала повторного выполнения

Вы можете просмотреть журнал повторного выполнения для всех выполнений конвейера в представлении списка.

Screenshot of view history.

Вы также можете просмотреть журнал повторного выполнения для запуска определенного конвейера.

Screenshot of view history for a pipeline run.

Мониторинг потребления

Чтобы просмотреть ресурсы, потребляемые при выполнении конвейера, щелкните значок потребления рядом с выполнением.

Screenshot that shows where you can see the resources consumed by a pipeline.

При щелчке значка откроется отчет о потреблении ресурсов, используемых при выполнении конвейера.

Screenshot of monitor consumption.

Эти значения можно ввести в калькулятор цен Azure, чтобы оценить затраты на выполнение конвейера. Дополнительные сведения о ценообразовании для фабрики данных Azure см. в статье Изучение ценообразования Фабрики данных Azure посредством примеров.

Примечание.

Значения, возвращаемые калькулятором цен, являются приблизительными. Он не отражает точную сумму оплаты, которая будет взиматься за фабрику данных Azure.

Представления диаграммы Ганта

Диаграмма Ганта — это представление для просмотра истории выполнений за определенный диапазон времени. Переключившись на представление диаграммы Ганта, вы увидите, что все выполнения конвейеров, сгруппированные по именам, отображаются в виде строк в соответствии с длительностью выполнения. Можно также выполнить группирование по заметкам или тегам, созданным в конвейере. Представление диаграммы Ганта также доступно на уровне выполнения действия.

Screenshot of an example of a Gantt chart.

Длина строки указывает длительность конвейера. Можно также выбрать строку, чтобы просмотреть дополнительные сведения.

Screenshot of a Gantt chart duration.

видны узлы

Вы можете создавать оповещения на основе поддерживаемых метрик фабрики данных. Чтобы приступить к работе, выберите Монитор>Оповещения и метрики на странице мониторинга Фабрики данных.

Screenshot of the Data factory Monitor page.

Уделите 7 минут своего времени, чтобы просмотреть следующее видео с кратким обзором и демонстрацией этой функции.

Создание оповещений

  1. Выберите Новое правило генерации оповещения, чтобы создать новое оповещение.

    Screenshot of New Alert Rule button.

  2. Укажите имя правила и выберите уровень серьезности оповещения.

    Screenshot of boxes for rule name and severity.

  3. Выберите критерии оповещения.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Оповещения можно создавать на основе различных метрик, включая число и размер сущностей Фабрики данных Azure, выполнения действия, конвейера и триггера, очереди, числа узлов, объема памяти, загрузки ЦП среды выполнения интеграции, а также выполнения пакетов служб SSIS и операций запуска и отмены SSIS-IR.

  4. Настройте логику оповещения. Можно создать оповещение для выбранной метрики для всех конвейеров и соответствующих действий. Можно также выбрать определенный тип действия, имя действия, имя конвейера или тип сбоя.

    Screenshot of options for configuring alert logic.

  5. Настройте сообщения электронной почты, SMS, push-уведомления и голосовые уведомления для этого оповещения. Создайте группу действий или выберите существующую группу, чтобы получать уведомления об оповещениях.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Создайте правило генерации оповещений.

    Screenshot of options for creating an alert rule.

Дополнительные сведения о мониторинге конвейеров и управлении ими см. в статье Отслеживание фабрики данных Azure с помощью программных средств.