Monitorar visualmente o Azure Data FactoryVisually monitor Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics (Versão prévia)

Depois de criar e publicar um pipeline no Azure Data Factory, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc.Once you've created and published a pipeline in Azure Data Factory, you can associate it with a trigger or manually kick off an ad hoc run. Você pode monitorar todas as execuções de pipeline nativamente na experiência de usuário do Azure Data Factory.You can monitor all of your pipeline runs natively in the Azure Data Factory user experience. Para abrir a experiência de monitoramento, selecione o bloco Monitorar e gerenciar na folha de data factory do portal do Azure.To open the monitoring experience, select the Monitor & Manage tile in the data factory blade of the Azure portal. Se você já estiver na UX do ADF, clique no ícone Monitorar na barra lateral esquerda.If you're already in the ADF UX, click on the Monitor icon on the left sidebar.

Por padrão, todas as execuções de data factory são exibidas no fuso horário local do navegador.By default, all data factory runs are displayed in the browser's local time zone. Se você alterar o fuso horário e todos os campos de data e hora serão encaixados no fuso horário selecionado.If you change the time zone, all the date/time fields snap to the one that you selected.

Monitorar execuções de pipelineMonitor pipeline runs

O modo de exibição de monitoramento padrão é a lista de execuções de pipeline disparadas no período de tempo selecionado.The default monitoring view is list of triggered pipeline runs in the selected time period. Você pode alterar o intervalo de tempo e filtrar por status, nome do pipeline ou anotação.You can change the time range and filter by status, pipeline name, or annotation. Passe o mouse sobre a execução do pipeline específico para obter ações específicas de execução, como executar novamente e o relatório de consumo.Hover over the specific pipeline run to get run-specific actions such as rerun and the consumption report.

Visualização de lista para monitoramento de execuções de pipeline

A grade de execução de pipeline contém as seguintes colunas:The pipeline run grid contains the following columns:

Nome da colunaColumn name DescriçãoDescription
Nome do PipelinePipeline Name Nome do pipelineName of the pipeline
Início da ExecuçãoRun Start Data e hora de início da execução do pipeline (MM/DD/AAAA HH:MM:SS AM/PM)Start date and time for the pipeline run (MM/DD/YYYY, HH:MM:SS AM/PM)
Término da execuçãoRun End Data e hora de término da execução do pipeline (MM/DD/AAAA, HH: MM: SS AM/PM)End date and time for the pipeline run (MM/DD/YYYY, HH:MM:SS AM/PM)
DurationDuration Duração da execução (HH:MM:SS)Run duration (HH:MM:SS)
Disparado porTriggered By O nome do gatilho que iniciou o pipelineThe name of the trigger that started the pipeline
StatusStatus Falha , Bem-sucedida , Em andamento , Cancelado ou Na filaFailed , Succeeded , In Progress , Canceled , or Queued
AnotaçõesAnnotations Marcas filtráveis associadas a um pipelineFilterable tags associated with a pipeline
ParâmetrosParameters Parâmetros de execução de pipeline (pares de nome/valor)Parameters for the pipeline run (name/value pairs)
ErroError Se o pipeline falhou, o erro de execuçãoIf the pipeline failed, the run error
ID da execuçãoRun ID ID da execução de pipelineID of the pipeline run

Você precisará selecionar manualmente o botão Atualizar para atualizar a lista de execuções do pipeline e atividades.You need to manually select the Refresh button to refresh the list of pipeline and activity runs. No momento, não há suporte para atualização automática.Autorefresh is currently not supported.

Botão Atualizar

Para exibir os resultados de uma execução de depuração, selecione a guia depurar .To view the results of a debug run, select the Debug tab.

Selecione o ícone Exibir execuções de depuração ativas

Monitorar execuções de atividadeMonitor activity runs

Para obter uma exibição detalhada das execuções de atividade individuais de uma execução de pipeline específica, clique no nome do pipeline.To get a detailed view of the individual activity runs of a specific pipeline run, click on the pipeline name.

Exibir execuções de atividade

A exibição de lista mostra as execuções de atividade que correspondem a cada execução de pipeline.The list view shows activity runs that correspond to each pipeline run. Focalize a execução da atividade específica para obter informações específicas da execução, como a entrada JSON, a saída JSON e experiências detalhadas de monitoramento específicas da atividade.Hover over the specific activity run to get run-specific information such as the JSON input, JSON output, and detailed activity-specific monitoring experiences.

Exibição de lista de execuções de atividade de monitoramento

Nome da colunaColumn name DescriçãoDescription
Nome da atividadeActivity Name Nome da atividade no pipelineName of the activity inside the pipeline
Tipo de atividadeActivity Type Tipo de atividade, como Copiar , ExecuteDataFlow ou AzureMLExecutePipelineType of the activity, such as Copy , ExecuteDataFlow , or AzureMLExecutePipeline
AçõesActions Ícones que permitem que você veja informações de entrada JSON, informações de saída JSON ou experiências detalhadas de monitoramento específicas da atividadeIcons that allow you to see JSON input information, JSON output information, or detailed activity-specific monitoring experiences
Início da ExecuçãoRun Start Data e hora de início da execução da atividade (MM/DD/AAAA HH:MM:SS AM/PM)Start date and time for the activity run (MM/DD/YYYY, HH:MM:SS AM/PM)
DurationDuration Duração da execução (HH:MM:SS)Run duration (HH:MM:SS)
StatusStatus Falha , Sucesso , Em andamento ou CanceladoFailed , Succeeded , In Progress , or Canceled
Integration RuntimeIntegration Runtime Em qual Integration Runtime a atividade foi executadaWhich Integration Runtime the activity was run on
Propriedades do UsuárioUser Properties Propriedades definidas pelo usuário da atividadeUser-defined properties of the activity
ErroError Se a atividade falhou, o erro de execuçãoIf the activity failed, the run error
ID da execuçãoRun ID ID da execução de atividadeID of the activity run

Se uma atividade falhar, você poderá ver a mensagem de erro detalhada clicando no ícone na coluna erro.If an activity failed, you can see the detailed error message by clicking on the icon in the error column.

Exibição de lista de execuções de atividade de monitoramento

Promover as propriedades de usuário para monitorá-lasPromote user properties to monitor

Promove qualquer propriedade de atividade do pipeline como uma propriedade do usuário para que ela se torne uma entidade que você monitorar.Promote any pipeline activity property as a user property so that it becomes an entity that you monitor. Por exemplo, você pode promover as propriedades de Fonte e Destino da atividade de Cópia do pipeline como propriedades do usuário.For example, you can promote the Source and Destination properties of the copy activity in your pipeline as user properties.

Observação

É possível promover no máximo cinco propriedades de atividade do pipeline como propriedades do usuário.You can only promote up to five pipeline activity properties as user properties.

Criar propriedades do usuário

Após criar as propriedades do usuário, você pode monitorá-las nas exibições de lista de monitoramento.After you create the user properties, you can monitor them in the monitoring list views.

Adicionar colunas de propriedades de usuário à lista de execuções de atividade

Se a fonte da atividade de Cópia for um nome de tabela, você poderá monitorar o nome de tabela de origem como uma coluna na exibição de lista de execuções de atividade.If the source for the copy activity is a table name, you can monitor the source table name as a column in the list view for activity runs.

Lista de execuções de atividade com colunas de propriedades de usuário

Executar pipelines e atividades novamenteRerun pipelines and activities

Para executar novamente um pipeline que foi executado anteriormente desde o início, passe o mouse sobre a execução do pipeline específico e selecione executar novamente.To rerun a pipeline that has previously ran from the start, hover over the specific pipeline run and select Rerun. Se você selecionar vários pipelines, poderá usar o botão executar novamente para executar todos eles.If you select multiple pipelines, you can use the Rerun button to run them all.

Executar novamente um pipeline

Se você quiser executar novamente a partir de um ponto específico, poderá fazer isso na exibição execuções de atividade.If you wish to rerun starting at a specific point, you can do so from the activity runs view. Selecione a atividade da qual você deseja iniciar e selecione executar novamente da atividade.Select the activity you wish to start from and select Rerun from activity.

Executar novamente uma execução de atividade

Executar novamente a partir da atividade com falhaRerun from failed activity

Se uma atividade falhar, expirar ou for cancelada, você poderá executar novamente o pipeline da atividade com falha selecionando Executar novamente a partir da atividade com falha.If an activity fails, times out, or is canceled, you can rerun the pipeline from that failed activity by selecting Rerun from failed activity.

Executar novamente a atividade com falha

Exibir o histórico de novas execuçõesView rerun history

Exiba o histórico de novas execuções para todas as execuções de pipeline na exibição de lista.You can view the rerun history for all the pipeline runs in the list view.

Exibir histórico

Exiba também o histórico de novas execuções para uma execução de pipeline específica.You can also view rerun history for a particular pipeline run.

Exibir o histórico para uma execução de pipeline

Monitorar o consumoMonitor consumption

Você pode ver os recursos consumidos por uma execução de pipeline clicando no ícone de consumo ao lado da execução.You can see the resources consumed by a pipeline run by clicking the consumption icon next to the run.

Captura de tela que mostra onde você pode ver os recursos consumidos por um pipeline.

Clicar no ícone abre um relatório de consumo dos recursos usados por essa execução de pipeline.Clicking the icon opens a consumption report of resources used by that pipeline run.

Monitorar o consumo

Você pode conectar esses valores à calculadora de preços do Azure para estimar o custo da execução do pipeline.You can plug these values into the Azure pricing calculator to estimate the cost of the pipeline run. Para obter mais informações sobre preços de Azure Data Factory, consulte Noções básicas sobre preços.For more information on Azure Data Factory pricing, see Understanding pricing.

Observação

Esses valores retornados pela calculadora de preços são uma estimativa.These values returned by the pricing calculator is an estimate. Eles não refletem o valor exato que você será cobrado por Azure Data FactoryIt doesn't reflect the exact amount you will be billed by Azure Data Factory

Exibições de GanttGantt views

Um gráfico de Gantt é uma exibição que permite que você veja o histórico de execução ao longo de um intervalo de tempo.A Gantt chart is a view that allows you to see the run history over a time range. Ao alternar para um modo de exibição de Gantt, você verá todas as execuções de pipeline agrupadas por nome exibidas como barras em relação ao tempo que a execução levou.By switching to a Gantt view, you will see all pipeline runs grouped by name displayed as bars relative to how long the run took. Você também pode agrupar por anotações/marcas que você criou em seu pipeline.You can also group by annotations/tags that you've create on your pipeline. O modo de exibição Gantt também está disponível no nível de execução da atividade.The Gantt view is also available at the activity run level.

Exemplo de um gráfico de Gantt

O comprimento da barra informa a duração do pipeline.The length of the bar informs the duration of the pipeline. Você também pode selecionar a barra para ver mais detalhes.You can also select the bar to see more details.

Duração do gráfico de Gantt

AlertasAlerts

Você pode gerar alertas em métricas com suporte no Data Factory.You can raise alerts on supported metrics in Data Factory. Selecione o Monitor > Alertas e métricas na página do Monitor do Data Factory para começar a usar.Select Monitor > Alerts & metrics on the Data Factory monitoring page to get started.

Página Monitorar Data Factory

Para uma introdução de sete minutos e uma demonstração desse recurso, assista ao vídeo a seguir:For a seven-minute introduction and demonstration of this feature, watch the following video:

Criar alertasCreate alerts

  1. Selecione Nova regra de alerta para criar um novo alerta.Select New alert rule to create a new alert.

    Botão Nova regra de alerta

  2. Especifique o nome da regra e selecione a gravidade do alerta.Specify the rule name and select the alert severity.

    Caixas para nome da regra e gravidade

  3. Selecione os critérios de alerta.Select the alert criteria.

    Caixa para os critérios de destino

    Captura de tela que mostra onde você seleciona uma métrica para configurar a condição de alerta.

    Lista de critérios

    Você pode criar alertas em várias métricas, incluindo aquelas para contagem/tamanho de entidade do ADF, execuções de atividade/pipeline/gatilho, execução de CPU de Integration Runtime (IR)/memória/contagem de nós/fila, bem como para execuções de pacote SSIS e operações de início/parada do SSIS.You can create alerts on various metrics, including those for ADF entity count/size, activity/pipeline/trigger runs, Integration Runtime (IR) CPU utilization/memory/node count/queue, as well as for SSIS package executions and SSIS IR start/stop operations.

  4. Configure a lógica de alerta.Configure the alert logic. Crie um alerta para a métrica selecionada para todos os pipelines e atividades correspondentes.You can create an alert for the selected metric for all pipelines and corresponding activities. Também é possível selecionar um tipo de atividade em particular, o nome da atividade, o nome do pipeline ou um tipo de falha.You can also select a particular activity type, activity name, pipeline name, or failure type.

    Opções para configurar a lógica de alerta

  5. Configure as notificações de email, SMS, push e voz para o alerta.Configure email, SMS, push, and voice notifications for the alert. Crie um grupo de ações ou escolha um existente para as notificações de alerta.Create an action group, or choose an existing one, for the alert notifications.

    Opções para configurar notificações para alertas

    Opções para adicionar uma notificação

  6. Criar a regra de alerta.Create the alert rule.

    Opções para criar uma regra de alerta

Próximas etapasNext steps

Para saber mais sobre o monitoramento e o gerenciamento de pipelines, veja o artigo Monitorar e gerenciar os pipelines programaticamente.To learn about monitoring and managing pipelines, see the Monitor and manage pipelines programmatically article.