Supervise visualmente Azure Data Factory

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.

Una vez que haya creado y publicado una canalización en Azure Data Factory, puede asociarla a un desencadenador o iniciar manualmente una ejecución ad hoc. Puede supervisar todas las ejecuciones de la canalización de forma nativa en la experiencia de usuario de Azure Data Factory. Para abrir la experiencia de supervisión, seleccione el icono Supervisar y administrar de la hoja de la factoría de datos de Azure Portal. Si ya está en ADF UX, haga clic en el icono Supervisar de la barra lateral izquierda.

De manera predeterminada, todas las ejecuciones de la factoría de datos se muestran en la zona horaria local del explorador. Si cambia de zona horaria, todos los campos de fecha y hora se ajustan al que ha seleccionado.

La supervisión de la canalización se ejecuta

La vista de supervisión predeterminada es una lista de ejecuciones de la canalización desencadenadas en el período de tiempo seleccionado. Puede cambiar el intervalo de tiempo y filtrar por estado, nombre de canalización o anotación. Mantenga el puntero sobre la ejecución de canalización específica para ver acciones específicas de la ejecución, como volver a ejecutar y el informe de consumo.

Screenshot of list view for monitoring pipeline runs.

La cuadrícula de ejecución de la canalización contiene las columnas siguientes:

Nombre de la columna Descripción
Nombre de la canalización Nombre de la canalización
Hora de inicio de la ejecución Fecha y hora de inicio de la ejecución de la canalización (MM/DD/AAAA, HH: MM: SS a.m./p.m.)
Hora de finalización de la ejecución Fecha y hora de finalización de la ejecución de la canalización (MM/DD/AAAA, HH:MM:SS a. m./p. m.)
Duration Duración de ejecución (HH)
Desencadenado por El nombre del desencadenador que inició la canalización
Status Error, Correcto, En curso, Cancelado o En cola
Anotaciones Etiquetas filtrables asociadas a una canalización
Parámetros Parámetros para la ejecución de la canalización (nombre/pares de valor)
Error Si se ha producido un error en la canalización, el error de ejecución
Ejecutar Original, Volver a ejecutar o Volver a ejecutar (más reciente)
Ejecutar identificador Identificador de la ejecución de canalización

Debe seleccionar manualmente el botón Actualizar para actualizar la lista de ejecuciones de actividad y de la canalización. La actualización automática no se admite actualmente.

 Screenshot of refresh button.

Para ver los resultados de una ejecución de depuración, seleccione la pestaña Depurar.

Screenshot of the view active debug runs icon.

Supervisión de las ejecuciones de actividad

Para obtener una vista detallada de las ejecuciones de actividades individuales de una ejecución de canalización específica, haga clic en el nombre de la canalización.

Screenshot of view activity runs.

La vista de lista muestra ejecuciones de actividad correspondiente a cada ejecución de canalización. Mantenga el puntero sobre la ejecución de actividad específica para obtener información específica sobre la ejecución, como la entrada JSON, la salida JSON y las experiencias detalladas de supervisión específicas de la actividad.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Nombre de la columna Descripción
Nombre de actividad Nombre de la actividad dentro de la canalización
Tipo de actividad Tipo de la actividad, como Copy, ExecuteDataFlow o AzureMLExecutePipeline
Acciones Iconos que le permiten ver información de entrada JSON, información de salida JSON o experiencias de supervisión específicas de la actividad detalladas
Hora de inicio de la ejecución Fecha y hora de inicio de la ejecución de actividad (MM/DD/AAAA, HH: MM: SS a.m./p.m.)
Duration Duración de ejecución (HH)
Status Error, Correcto, En curso o Cancelado
Integration Runtime Instancia de Integration Runtime donde se ejecutó la actividad
Propiedades de usuario Propiedades definidas por el usuario de la actividad
Error Si se ha producido un error en la actividad, el error de ejecución
Ejecutar identificador Identificador de la ejecución de la actividad

Si se produce un error en una actividad, puede ver el mensaje de error detallado al hacer clic en el icono de la columna Error.

Screenshot of a notification with error details including error code, failure type, and error details.

Promocionar las propiedades de usuario para supervisar

Promueva cualquier propiedad de actividad de canalización como propiedad de usuario para que se convierta en una entidad que supervise. Por ejemplo, puede promover las propiedades Origen y Destino de la actividad de copia de la canalización como propiedades de usuario.

Nota

Puede promover un máximo de cinco propiedades de la actividad de canalización como propiedades del usuario.

Screenshot of create user properties.

Después de crear las propiedades del usuario, puede supervisarlas en las vistas de lista de supervisión.

Screenshot of add columns for user properties to the activity runs list.

Si el origen de la actividad de copia es un nombre de tabla, puede supervisar el nombre de la tabla de origen como una columna de la vista de lista en las ejecuciones de actividad.

Screenshot of activity runs list with columns for user properties.

Repetición de canalizaciones y actividades

El comportamiento de repetición de las actividades del contenedor es el siguiente:

  • Wait: la actividad se comportará como antes.
  • Set Variable: la actividad se comportará como antes.
  • Filter: la actividad se comportará como antes.
  • La actividad Until evaluará la expresión y se repetirá en bucle hasta que se satisfaga la condición. Todavía se pueden omitir las actividades internas en función de las reglas de reejecución.
  • La actividad Foreach siempre se repetirá en bucle en los elementos que reciba. Todavía se pueden omitir las actividades internas en función de las reglas de reejecución.
  • If and switch: siempre se evaluarán las condiciones. Se evaluarán todas las actividades internas. Es posible que todavía se omitan las actividades internas en función de las reglas de reejecución, pero se volverán a ejecutar las actividades como Ejecutar canalización.
  • Execute pipeline activity: la canalización secundaria se desencadenará, pero es posible que todas las actividades de la canalización secundaria se sigan omitiendo en función de las reglas de repetición.

Para volver a ejecutar una canalización que se ejecutó previamente desde el inicio, mantenga el puntero sobre la ejecución de canalización específica y seleccione Volver a ejecutar. Si selecciona varias canalizaciones, puede usar el botón Volver a ejecutar para ejecutarlas todas.

Screenshot of rerun a pipeline.

Si quiere volver a ejecutar a partir de un punto concreto, puede hacerlo desde la vista Ejecuciones de actividad. Seleccione la actividad desde la que quiere empezar y seleccione Volver a ejecutar desde actividad.

Screenshot of rerun an activity run.

También puede volver a ejecutar una canalización y cambiar los parámetros. Seleccione el botón Nuevos parámetros para cambiar los parámetros.

Screenshot of rerun an activity run with new parameters.

Nota:

Volver a ejecutar una canalización con nuevos parámetros se considerará una nueva ejecución de canalización, por lo que no se mostrará en las agrupaciones de repetición de una ejecución de canalización.

Volver a ejecutar desde la actividad con errores

Si se produce un error en una actividad, se agota el tiempo de espera o se cancela, puede seleccionar Volver a ejecutar desde la actividad con errores para volver a ejecutar la canalización desde esa actividad con errores.

Screenshot of rerun failed activity.

Ver el historial de repetición de ejecuciones

Puede ver el historial de repetición de ejecuciones de todas las ejecuciones de canalización en la vista de lista.

Screenshot of view history.

También puede ver el historial de repetición de ejecuciones de una ejecución de canalización determinada.

Screenshot of view history for a pipeline run.

Supervisión del consumo

Para ver los recursos utilizados por una ejecución de canalización, haga clic en el icono de consumo junto a la ejecución.

Screenshot that shows where you can see the resources consumed by a pipeline.

Al hacer clic en el icono, se abre un informe de consumo de recursos usados por esa canalización.

Screenshot of monitor consumption.

Puede conectar estos valores a la calculadora de precios de Azure para calcular el costo de la ejecución de la canalización. Para más información sobre los precios de Azure Data Factory, consulte Descripción de los precios.

Nota

Estos valores devueltos por la calculadora de precios son una estimación. No refleja el importe exacto en el que se le facturará Azure Data Factory

Vistas de Gantt

Un diagrama de Gantt es una vista que le permite ver el historial de ejecución en un intervalo de tiempo. Al cambiar a una vista de Gantt, notará que todas las ejecuciones de canalización agrupadas por nombre se muestran como barras en relación con cuánto tiempo tardaron en ejecutarse. También puede agruparlas por las anotaciones o etiquetas que haya creado en la canalización. La vista de Gantt también está disponible en el nivel de ejecución de actividad.

Screenshot of an example of a Gantt chart.

La longitud de la barra le informará de la duración de la canalización. Asimismo, puede seleccionar la barra para ver más detalles.

Screenshot of a Gantt chart duration.

Alertas

Puede generar alertas en función de métricas admitidas en Data Factory. Seleccione Supervisar>Alertas y métricas, en la página de supervisión de Data Factory, para empezar.

Screenshot of the Data factory Monitor page.

Si desea una demostración y una introducción de siete minutos de esta característica, vea el siguiente vídeo:

Creación de alertas

  1. Seleccione Nueva regla de alertas para crear una nueva alerta.

    Screenshot of New Alert Rule button.

  2. Especifique el nombre de la regla y seleccione la gravedad de la alerta.

    Screenshot of boxes for rule name and severity.

  3. Seleccione los criterios de la alerta.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Puede crear alertas de varias métricas, incluidas para el tamaño/recuento de entidades de ADF, ejecuciones de actividad/canalización/desencadenador, uso de CPU/memoria/número de nodos/cola de Integration Runtime (IR), así como para ejecuciones de paquetes de SSIS y operaciones de inicio/parada de IR de SSIS.

  4. Configure la lógica de la alerta. Puede crear una alerta de la métrica seleccionada para todas las canalizaciones y actividades correspondientes. También puede seleccionar un tipo de actividad, nombre de actividad, nombre de canalización o tipo de error determinados.

    Screenshot of options for configuring alert logic.

  5. Configure las notificaciones push, por correo electrónico, SMS o voz de la alerta. Cree un grupo de acciones para las notificaciones de alerta o elija uno existente.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Cree la regla de alertas.

    Screenshot of options for creating an alert rule.

Para más información sobre la supervisión y la administración de canalizaciones, consulte el artículo Supervisión y administración de canalizaciones mediante programación.