Monitorizar visualmente o Azure Data Factory
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Depois de criar e publicar um pipeline no Azure Data Factory, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc. Você pode monitorar todas as execuções de pipeline nativamente na experiência do usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitor & Manage na folha data factory do portal do Azure. Se você já estiver na UX do ADF, clique no ícone Monitor na barra lateral esquerda.
Por predefinição, todas as execuções da fábrica de dados são exibidas no fuso horário local do browser. Se alterar o fuso horário, todos os campos de data/hora serão atualizados para o selecionado.
Monitorizar execuções de pipeline
A exibição de monitoramento padrão é a lista de execuções de pipeline acionadas no período de tempo selecionado. Pode alterar o intervalo de tempo e filtrar por estado, nome do pipeline ou anotação. Passe o cursor sobre a execução específica do pipeline para obter ações específicas da execução, como a repetição e o relatório de consumo.
A grade de execução do pipeline contém as seguintes colunas:
| Nome da coluna | Descrição |
|---|---|
| Nome do Pipeline | Nome do gasoduto |
| Início da Execução | Data e hora de início da execução do pipeline (MM/DD/AAAA, HH:MM:SS AM/PM) |
| Fim da corrida | Data e hora de término da execução do pipeline (MM/DD/AAAA, HH:MM:SS AM/PM) |
| Duration | Duração da execução (HH:MM:SS) |
| Acionada Por | O nome do gatilho que iniciou o pipeline |
| Status | Falhado, bem-sucedido, em andamento, cancelado ou enfileirado |
| Anotações | Tags filtráveis associadas a um pipeline |
| Parâmetros | Parâmetros para a execução do pipeline (pares nome/valor) |
| Error | Se o pipeline falhou, o erro de execução |
| Executar | Original, Reprise ou Rerun (Mais recente) |
| o ID da Execução | ID da execução do pipeline |
Você precisa selecionar manualmente o botão Atualizar para atualizar a lista de pipeline e execução de atividades. A atualização automática não é suportada no momento.
Para exibir os resultados de uma execução de depuração, selecione a guia Depurar .
Monitorização de execuções de atividade
Para obter uma visão detalhada das execuções de atividade individuais de uma execução de pipeline específica, clique no nome do pipeline.
O modo de exibição de lista mostra execuções de atividade que correspondem a cada execução de pipeline. Passe o cursor sobre a execução da atividade específica para obter informações específicas da execução, como a entrada JSON, a saída JSON e experiências detalhadas de monitoramento específico da atividade.
| Nome da coluna | Descrição |
|---|---|
| Nome da Atividade | Nome da atividade dentro do pipeline |
| Tipo de Atividade | Tipo de atividade, como Copy, ExecuteDataFlow ou AzureMLExecutePipeline |
| Ações | Ícones que permitem ver informações de entrada JSON, informações de saída JSON ou experiências detalhadas de monitoramento específico da atividade |
| Início da Execução | Data e hora de início da execução da atividade (MM/DD/AAAA, HH:MM:SS AM/PM) |
| Duration | Duração da execução (HH:MM:SS) |
| Status | Falhado, bem-sucedido, em andamento ou cancelado |
| Runtime de Integração | Em qual tempo de execução de integração a atividade foi executada |
| Propriedades do Utilizador | Propriedades definidas pelo usuário da atividade |
| Error | Se a atividade falhou, o erro de execução |
| o ID da Execução | ID da atividade executada |
Se uma atividade falhou, você pode ver a mensagem de erro detalhada clicando no ícone na coluna de erro.
Promover as propriedades do utilizador a monitorizar
Promova qualquer propriedade de atividade de pipeline como uma propriedade do utilizador para se tornar numa entidade que possa monitorizar. Por exemplo, pode promover as propriedades de Origem e Destino da atividade de cópia no pipeline como propriedades do utilizador.
Nota
Você só pode promover até cinco propriedades de atividade de pipeline como propriedades de usuário.
Depois de criar as propriedades do usuário, você pode monitorá-las nas exibições de lista de monitoramento.
Se a origem da atividade de cópia for um nome de tabela, você poderá monitorar o nome da tabela de origem como uma coluna no modo de exibição de lista para execuções de atividade.
Executar novamente os pipelines e as atividades
O comportamento de repetição das atividades de contêiner é o seguinte:
Wait- A atividade se comportará como antes.Set Variable- A atividade se comportará como antes.Filter- A atividade se comportará como antes.UntilA atividade avaliará a expressão e gerará um ciclo até que a condição seja satisfeita. As atividades internas ainda podem ser ignoradas com base nas regras da nova execução.ForeachA atividade gerará sempre um ciclo nos itens que recebe. As atividades internas ainda podem ser ignoradas com base nas regras da nova execução.If and switch- As condições serão sempre avaliadas. Todas as atividades internas serão avaliadas. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução, mas cidades como Executar Pipeline serão executadas novamente.Execute pipeline activity- O pipeline filho será acionado, mas todas as atividades no pipeline filho ainda podem ser ignoradas com base nas regras de reexecução.
Para executar novamente um pipeline que já foi executado desde o início, passe o mouse sobre a execução específica do pipeline e selecione Executar novamente. Se você selecionar vários pipelines, poderá usar o botão Executar novamente para executá-los todos.
Se você deseja executar novamente a partir de um ponto específico, você pode fazê-lo a partir da visualização de execuções de atividade. Selecione a atividade a partir da qual deseja começar e selecione Repetir a partir da atividade.
Você também pode executar novamente um pipeline e alterar os parâmetros. Selecione o botão Novos parâmetros para alterar os parâmetros.
Nota
A reexecução de um pipeline com novos parâmetros será considerada uma nova execução de pipeline, portanto, não será exibida sob os agrupamentos de repetição para uma execução de pipeline.
Executar novamente a partir da atividade com falha
Se uma atividade falhar, exceder o limite de tempo ou for cancelada, poderá voltar a executar o pipeline a partir dessa atividade com falha ao selecionar Executar novamente.
Ver o histórico de novas execuções
Pode ver o histórico de novas execuções para todas as execuções de pipeline na vista da lista.
Você também pode exibir o histórico de reexecução de uma execução de pipeline específica.
Monitorizar o consumo
Você pode ver os recursos consumidos por um pipeline executado clicando no ícone de consumo ao lado da execução.
Clicar no ícone abre um relatório de consumo de recursos usados por essa execução de pipeline.
Você pode conectar esses valores à calculadora de preços do Azure para estimar o custo da execução do pipeline. Para obter mais informações sobre os preços do Azure Data Factory, consulte Noções básicas sobre preços.
Nota
Esses valores retornados pela calculadora de preços são uma estimativa. Ele não reflete o valor exato que você será cobrado pelo Azure Data Factory
Visualizações de Gantt
Um gráfico Gantt é uma vista que permite ver o histórico de execuções ao longo de um intervalo de tempo. Ao mudar para uma Vista Gantt, verá todas as execuções de pipeline agrupadas pelo nome apresentadas como barras relativamente ao tempo que a execução demorou. Você também pode agrupar por anotações/tags que criou em seu pipeline. A vista Gantt também está disponível ao nível da execução da atividade.
O comprimento da barra informa a duração da tubulação. Você também pode selecionar a barra para ver mais detalhes.
Alertas
Pode criar alertas sobre métricas suportadas no Data Factory. Selecione Monitorar>alertas e métricas na página de monitoramento do Data Factory para começar.
Para uma introdução de sete minutos e demonstração desse recurso, assista ao seguinte vídeo:
Criar alertas
Selecione Nova regra de alerta para criar um novo alerta.
Especifique o nome da regra e selecione a gravidade do alerta.
Selecione os critérios de alerta.
Você pode criar alertas em várias métricas, incluindo aquelas para contagem/tamanho de entidade do ADF, execuções de atividade/pipeline/gatilho, utilização/memória/contagem de nós/fila da CPU do Integration Runtime (IR), bem como para execuções de pacotes SSIS e operações start/stop do SSIS IR.
Configure a lógica de alerta. Você pode criar um alerta para a métrica selecionada para todos os pipelines e atividades correspondentes. Você também pode selecionar um tipo de atividade específico, nome da atividade, nome do pipeline ou tipo de falha.
Configure notificações por e-mail, SMS, push e voz para o alerta. Crie um grupo de ações ou escolha um grupo existente para as notificações de alerta.
Crie a regra de alerta.
Conteúdos relacionados
Para saber mais sobre como monitorar e gerenciar pipelines, consulte o artigo Monitorar e gerenciar pipelines programaticamente .