Monitorar visualmente o Azure Data Factory
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Depois de criar e publicar um pipeline no Azure Data Factory, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc. Você pode monitorar todas as execuções de pipeline nativamente na experiência de usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitorar e gerenciar na folha de data factory do portal do Azure. Se você já estiver na UX do ADF, clique no ícone Monitorar na barra lateral esquerda.
Por padrão, todas as execuções de data factory são exibidas no fuso horário local do navegador. Se você alterar o fuso horário e todos os campos de data e hora serão encaixados no fuso horário selecionado.
Monitorar execuções de pipeline
O modo de exibição de monitoramento padrão é a lista de execuções de pipeline no período selecionado. Você pode alterar o intervalo de tempo e filtrar por status, nome do pipeline ou anotação. Passe o mouse sobre a execução de pipeline específica para obter ações específicas de execução, como executar novamente e o relatório de consumo.
A grade de execução de pipeline contém as seguintes colunas:
| Nome da coluna | Descrição |
|---|---|
| Nome do Pipeline | Nome do pipeline |
| Início da Execução | Data e hora de início da execução do pipeline (MM/DD/AAAA HH:MM:SS AM/PM) |
| Fim da execução | Data e hora de término da execução de pipeline (MM/DD/AAAA HH:MM:SS AM/PM) |
| Duration | Duração da execução (HH:MM:SS) |
| Disparado por | O nome do gatilho que iniciou o pipeline |
| Status | Falha, Bem-sucedida, Em andamento, Canceladoou Na fila |
| Anotações | Marcas filtráveis associadas a um pipeline |
| Parâmetros | Parâmetros de execução de pipeline (pares de nome/valor) |
| Erro | Se o pipeline falhou, o erro de execução |
| Executar | Original, Novamente executada ou Novamente executada (Mais recente) |
| ID da execução | ID da execução de pipeline |
Você precisará selecionar manualmente o botão Atualizar para atualizar a lista de execuções do pipeline e atividades. No momento, não há suporte para atualização automática.
Para ver os resultados de uma execução de depuração, selecione a guia Depurar.
Monitorar execuções de atividade
Para obter uma exibição detalhada das execuções de atividade individuais de uma execução de pipeline específica, clique no nome do pipeline.
A exibição de lista mostra as execuções de atividade que correspondem a cada execução de pipeline. Focalize a execução da atividade específica para obter informações específicas da execução, como a entrada JSON, a saída JSON e experiências detalhadas de monitoramento específicas da atividade.
| Nome da coluna | Descrição |
|---|---|
| Nome da atividade | Nome da atividade no pipeline |
| Tipo de atividade | Tipo de atividade, como Copiar, ExecuteDataFlow ou AzureMLExecutePipeline |
| Ações | Ícones que permitem que você veja informações de entrada JSON, informações de saída JSON ou experiências detalhadas de monitoramento específicas da atividade |
| Início da Execução | Data e hora de início da execução da atividade (MM/DD/AAAA HH:MM:SS AM/PM) |
| Duration | Duração da execução (HH:MM:SS) |
| Status | Falha, Sucesso, Em andamento ou Cancelado |
| Integration Runtime | Em qual Integration Runtime a atividade foi executada |
| Propriedades do Usuário | Propriedades definidas pelo usuário da atividade |
| Erro | Se a atividade falhou, o erro de execução |
| ID da execução | ID da execução de atividade |
Se uma atividade falhar, você poderá ver a mensagem de erro detalhada clicando no ícone na coluna erro.
Promover as propriedades de usuário para monitorá-las
Promove qualquer propriedade de atividade do pipeline como uma propriedade do usuário para que ela se torne uma entidade que você monitorar. Por exemplo, você pode promover as propriedades de Fonte e Destino da atividade de Cópia do pipeline como propriedades do usuário.
Observação
É possível promover no máximo cinco propriedades de atividade do pipeline como propriedades do usuário.
Após criar as propriedades do usuário, você pode monitorá-las nas exibições de lista de monitoramento.
Se a fonte da atividade de Cópia for um nome de tabela, você poderá monitorar o nome de tabela de origem como uma coluna na exibição de lista de execuções de atividade.
Executar pipelines e atividades novamente
O comportamento de nova execução das atividades de contêiner é o seguinte:
Wait– A atividade se comportará como antes.Set Variable– A atividade se comportará como antes.Filter– A atividade se comportará como antes.UntilA atividade avaliará a expressão e entrará em loop até que a condição seja atendida. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.ForeachA atividade sempre entrará em loop nos itens recebidos. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.If and switch– As condições sempre serão avaliadas. Todas as atividades internas serão avaliadas. As atividades internas ainda podem ser ignoradas com base nas regras de nova execução, mas atividades como Execute Pipeline serão executadas novamente.Execute pipeline activity– O pipeline filho será disparado, mas todas as atividades nele ainda podem ser ignoradas com base nas regras de nova execução.
Para executar outra vez desde o início um pipeline já executado, passe o mouse sobre a execução de pipeline específico e selecione Executar novamente. Se você selecionar vários pipelines, poderá usar o botão Executar novamente para executar todos eles.
Se você quiser executar novamente de um ponto específico, poderá fazer isso na exibição execuções de atividade. Selecione a atividade da qual você deseja iniciar e selecione Executar novamente da atividade.
Você também pode executar novamente um pipeline e alterar os parâmetros. Selecione o botão Novos parâmetros para alterar os parâmetros.
Observação
Executar novamente um pipeline com novos parâmetros será considerado uma nova execução de pipeline, portanto, não será exibido nos agrupamentos de nova execução para uma execução de pipeline.
Executar novamente a partir da atividade com falha
Se uma atividade falhar, expirar ou for cancelada, você poderá executar novamente o pipeline da atividade com falha selecionando Executar novamente a partir da atividade com falha.
Exibir o histórico de novas execuções
Exiba o histórico de novas execuções para todas as execuções de pipeline na exibição de lista.
Exiba também o histórico de novas execuções para uma execução de pipeline específica.
Monitorar o consumo
Você pode ver os recursos consumidos por uma execução de pipeline clicando no ícone de consumo ao lado da execução.
Clicar no ícone abre um relatório de consumo dos recursos usados por essa execução de pipeline.
Você pode conectar esses valores à calculadora de preços do Azure para estimar o custo da execução do pipeline. Para obter mais informações sobre preços de Azure Data Factory, consulte Noções básicas sobre preços.
Observação
Esses valores retornados pela calculadora de preços são uma estimativa. Eles não refletem o valor exato que você será cobrado por Azure Data Factory
Exibições de Gantt
Um gráfico de Gantt é uma exibição que permite que você veja o histórico de execução ao longo de um intervalo de tempo. Ao alternar para um modo de exibição de Gantt, você verá todas as execuções de pipeline agrupadas por nome exibidas como barras em relação ao tempo que a execução levou. Você também pode agrupar por anotações/marcas que você criou em seu pipeline. O modo de exibição Gantt também está disponível no nível de execução da atividade.
O comprimento da barra informa a duração do pipeline. Você também pode selecionar a barra para ver mais detalhes.
Alertas
Você pode gerar alertas em métricas com suporte no Data Factory. Selecione o Monitor>Alertas e métricas na página do Monitor do Data Factory para começar a usar.
Para uma introdução de sete minutos e uma demonstração desse recurso, assista ao vídeo a seguir:
Criar alertas
Selecione Nova regra de alerta para criar um novo alerta.
Especifique o nome da regra e selecione a gravidade do alerta.
Selecione os critérios de alerta.
Você pode criar alertas em várias métricas, incluindo contagem/tamanho da entidade do ADF, execuções de atividade/pipeline/gatilho, utilização/memória/contagem de nós/fila da CPU do IR (Integration Runtime), bem como para execuções de pacote SSIS e operações de início/parada do SSIS.
Configure a lógica de alerta. Crie um alerta para a métrica selecionada para todos os pipelines e atividades correspondentes. Também é possível selecionar um tipo de atividade em particular, o nome da atividade, o nome do pipeline ou um tipo de falha.
Configure as notificações de email, SMS, push e voz para o alerta. Crie um grupo de ações ou escolha um existente para as notificações de alerta.
Criar a regra de alerta.
Conteúdo relacionado
Para saber mais sobre o monitoramento e o gerenciamento de pipelines, veja o artigo Monitorar e gerenciar os pipelines programaticamente.