Monitorar visualmente o Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Depois de criar e publicar um pipeline no Azure Data Factory, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc. Você pode monitorar todas as execuções de pipeline nativamente na experiência de usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitorar e gerenciar na folha de data factory do portal do Azure. Se você já estiver na UX do ADF, clique no ícone Monitorar na barra lateral esquerda.

Por padrão, todas as execuções de data factory são exibidas no fuso horário local do navegador. Se você alterar o fuso horário e todos os campos de data e hora serão encaixados no fuso horário selecionado.

Monitorar execuções de pipeline

O modo de exibição de monitoramento padrão é a lista de execuções de pipeline no período selecionado. Você pode alterar o intervalo de tempo e filtrar por status, nome do pipeline ou anotação. Passe o mouse sobre a execução de pipeline específica para obter ações específicas de execução, como executar novamente e o relatório de consumo.

Visualização de lista para monitoramento de execuções de pipeline

A grade de execução de pipeline contém as seguintes colunas:

Nome da coluna Descrição
Nome do Pipeline Nome do pipeline
Início da Execução Data e hora de início da execução do pipeline (MM/DD/AAAA HH:MM:SS AM/PM)
Fim da execução Data e hora de término da execução de pipeline (MM/DD/AAAA HH:MM:SS AM/PM)
Duration Duração da execução (HH:MM:SS)
Disparado por O nome do gatilho que iniciou o pipeline
Status Falha, Bem-sucedida, Em andamento, Cancelado ou Na fila
Anotações Marcas filtráveis associadas a um pipeline
Parâmetros Parâmetros de execução de pipeline (pares de nome/valor)
Erro Se o pipeline falhou, o erro de execução
ID da execução ID da execução de pipeline

Você precisará selecionar manualmente o botão Atualizar para atualizar a lista de execuções do pipeline e atividades. No momento, não há suporte para atualização automática.

Botão Atualizar

Para ver os resultados de uma execução de depuração, selecione a guia Depurar.

Selecione o ícone Exibir execuções de depuração ativas

Monitorar execuções de atividade

Para obter uma exibição detalhada das execuções de atividade individuais de uma execução de pipeline específica, clique no nome do pipeline.

Exibir execuções de atividade

A exibição de lista mostra as execuções de atividade que correspondem a cada execução de pipeline. Focalize a execução da atividade específica para obter informações específicas da execução, como a entrada JSON, a saída JSON e experiências detalhadas de monitoramento específicas da atividade.

Há informações sobre SalesAnalyticsMLPipeline, seguidas por uma lista de execuções de atividade.

Nome da coluna Descrição
Nome da atividade Nome da atividade no pipeline
Tipo de atividade Tipo de atividade, como Copiar, ExecuteDataFlow ou AzureMLExecutePipeline
Ações Ícones que permitem que você veja informações de entrada JSON, informações de saída JSON ou experiências detalhadas de monitoramento específicas da atividade
Início da Execução Data e hora de início da execução da atividade (MM/DD/AAAA HH:MM:SS AM/PM)
Duration Duração da execução (HH:MM:SS)
Status Falha, Sucesso, Em andamento ou Cancelado
Integration Runtime Em qual Integration Runtime a atividade foi executada
Propriedades do Usuário Propriedades definidas pelo usuário da atividade
Erro Se a atividade falhou, o erro de execução
ID da execução ID da execução de atividade

Se uma atividade falhar, você poderá ver a mensagem de erro detalhada clicando no ícone na coluna erro.

Uma notificação é exibida com detalhes do erro, incluindo código de erro, tipo de falha e detalhes do erro.

Promover as propriedades de usuário para monitorá-las

Promove qualquer propriedade de atividade do pipeline como uma propriedade do usuário para que ela se torne uma entidade que você monitorar. Por exemplo, você pode promover as propriedades de Fonte e Destino da atividade de Cópia do pipeline como propriedades do usuário.

Observação

É possível promover no máximo cinco propriedades de atividade do pipeline como propriedades do usuário.

Criar propriedades do usuário

Após criar as propriedades do usuário, você pode monitorá-las nas exibições de lista de monitoramento.

Adicionar colunas de propriedades de usuário à lista de execuções de atividade

Se a fonte da atividade de Cópia for um nome de tabela, você poderá monitorar o nome de tabela de origem como uma coluna na exibição de lista de execuções de atividade.

Lista de execuções de atividade com colunas de propriedades de usuário

Executar pipelines e atividades novamente

O comportamento de nova execução das atividades de contêiner é o seguinte:

  • Wait – A atividade se comportará como antes.
  • Set Variable – A atividade se comportará como antes.
  • Filter – A atividade se comportará como antes.
  • Until A atividade avaliará a expressão e entrará em loop até que a condição seja atendida. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.
  • Foreach A atividade sempre entrará em loop nos itens recebidos. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.
  • If and switch – As condições sempre serão avaliadas. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.
  • Execute pipeline activity – O pipeline filho será disparado, mas todas as atividades nele ainda podem ser ignoradas com base nas regras de nova execução.

Para executar outra vez desde o início um pipeline já executado, passe o mouse sobre a execução de pipeline específico e selecione Executar novamente. Se você selecionar vários pipelines, poderá usar o botão Executar novamente para executar todos eles.

Executar novamente um pipeline

Se você quiser executar novamente de um ponto específico, poderá fazer isso na exibição execuções de atividade. Selecione a atividade da qual você deseja iniciar e selecione Executar novamente da atividade.

Executar novamente uma execução de atividade

Executar novamente a partir da atividade com falha

Se uma atividade falhar, expirar ou for cancelada, você poderá executar novamente o pipeline da atividade com falha selecionando Executar novamente a partir da atividade com falha.

Executar novamente a atividade com falha

Exibir o histórico de novas execuções

Exiba o histórico de novas execuções para todas as execuções de pipeline na exibição de lista.

Exibir histórico

Exiba também o histórico de novas execuções para uma execução de pipeline específica.

Exibir o histórico para uma execução de pipeline

Monitorar o consumo

Você pode ver os recursos consumidos por uma execução de pipeline clicando no ícone de consumo ao lado da execução.

Captura de tela que mostra onde você pode ver os recursos consumidos por um pipeline.

Clicar no ícone abre um relatório de consumo dos recursos usados por essa execução de pipeline.

Monitorar o consumo

Você pode conectar esses valores à calculadora de preços do Azure para estimar o custo da execução do pipeline. Para obter mais informações sobre preços de Azure Data Factory, consulte Noções básicas sobre preços.

Observação

Esses valores retornados pela calculadora de preços são uma estimativa. Eles não refletem o valor exato que você será cobrado por Azure Data Factory

Exibições de Gantt

Um gráfico de Gantt é uma exibição que permite que você veja o histórico de execução ao longo de um intervalo de tempo. Ao alternar para um modo de exibição de Gantt, você verá todas as execuções de pipeline agrupadas por nome exibidas como barras em relação ao tempo que a execução levou. Você também pode agrupar por anotações/marcas que você criou em seu pipeline. O modo de exibição Gantt também está disponível no nível de execução da atividade.

Exemplo de um gráfico de Gantt

O comprimento da barra informa a duração do pipeline. Você também pode selecionar a barra para ver mais detalhes.

Duração do gráfico de Gantt

Alertas

Você pode gerar alertas em métricas com suporte no Data Factory. Selecione o Monitor > Alertas e métricas na página do Monitor do Data Factory para começar a usar.

Página Monitorar Data Factory

Para uma introdução de sete minutos e uma demonstração desse recurso, assista ao vídeo a seguir:

Criar alertas

  1. Selecione Nova regra de alerta para criar um novo alerta.

    Botão Nova regra de alerta

  2. Especifique o nome da regra e selecione a gravidade do alerta.

    Caixas para nome da regra e gravidade

  3. Selecione os critérios de alerta.

    Caixa para os critérios de destino

    Captura de tela que mostra em que local você seleciona uma métrica para configurar a condição de alerta.

    Lista de critérios

    Você pode criar alertas em várias métricas, incluindo contagem/tamanho da entidade do ADF, execuções de atividade/pipeline/gatilho, utilização/memória/contagem de nós/fila da CPU do IR (Integration Runtime), bem como para execuções de pacote SSIS e operações de início/parada do SSIS.

  4. Configure a lógica de alerta. Crie um alerta para a métrica selecionada para todos os pipelines e atividades correspondentes. Também é possível selecionar um tipo de atividade em particular, o nome da atividade, o nome do pipeline ou um tipo de falha.

    Opções para configurar a lógica de alerta

  5. Configure as notificações de email, SMS, push e voz para o alerta. Crie um grupo de ações ou escolha um existente para as notificações de alerta.

    Opções para configurar notificações para alertas

    Opções para adicionar uma notificação

  6. Criar a regra de alerta.

    Opções para criar uma regra de alerta

Próximas etapas

Para saber mais sobre o monitoramento e o gerenciamento de pipelines, veja o artigo Monitorar e gerenciar os pipelines programaticamente.