Exibir e gerenciar execuções de trabalho

Este artigo descreve os recursos disponíveis na interface do usuário do Azure Databricks para exibir trabalhos aos quais você tem acesso, exibir um histórico de execuções para um trabalho e exibir detalhes das execuções de trabalho. Para saber mais sobre como usar a CLI do Databricks para exibir e executar trabalhos, execute os comandos da CLI databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Para saber mais sobre como usar a API de Trabalhos, consulte a API de Trabalhos.

Exibir trabalhos

Para visualizar a lista de trabalhos aos quais você tem acesso, clique no Fluxos de Trabalho na barra lateral. A guia Trabalhos na interface do usuário fluxos de trabalho lista informações sobre todos os trabalhos disponíveis, como o criador do trabalho, o gatilho para o trabalho, se houver, e o resultado da última execução.

Para alterar as colunas exibidas na exibição de lista de execuções, clique em e marque ou desmarque colunas.

Você pode filtrar trabalhos na lista Trabalhos:

• Usando palavras-chave. Se você tiver o recurso de limite de trabalhos aumentado habilitado para esse workspace, a pesquisa por palavras-chave terá suporte apenas para os campos nome, ID do trabalho e marca de trabalho.
• Selecionando somente os trabalhos de sua propriedade.
• Selecionando todos os trabalhos que você tem permissões para acessar.
• Usando tags. Para pesquisar uma marca criada com apenas uma chave, digite a chave na caixa de pesquisa. Para pesquisar uma marca criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma marca com a chave department e o valor finance, você pode pesquisar department ou finance para encontrar trabalhos correspondentes. Para pesquisar por chave e valor, digite a chave e o valor separados por dois pontos; por exemplo, department:finance.

Você também pode clicar em um cabeçalho de coluna para classificar a lista de trabalhos (em ordem decrescente ou crescente) por essa coluna. Quando o recurso limite de trabalhos aumentado estiver habilitado, você poderá classificar somente por Name, Job ID ou Created by. A classificação padrão é por Name em ordem crescente.

Clique em para acessar as ações do trabalho, por exemplo, excluir o trabalho.

Exibir execuções de um trabalho

É possível exibir uma lista de execuções atualmente em execução e concluídas recentemente para todos os trabalhos aos quais você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como o Apache Airflow ou o Azure Data Factory. Para exibir a lista de execuções de trabalho recentes:

1. Clique no Fluxos de Trabalho na barra lateral.
2. Na coluna Nome, clique em um nome de trabalho. A guia Execuções aparece com visualizações de matriz e lista de execuções ativas e concluídas.

A exibição de matriz mostra um histórico de execuções do trabalho, incluindo cada tarefa dele.

A linha Duração total da execução da matriz exibe a duração total da execução e o estado da execução. Para exibir detalhes da execução, incluindo a hora de início, a duração e o status, passe o mouse sobre a barra na linha Duração total da execução.

Cada célula na linha Tarefas representa uma tarefa e o status correspondente dela. Para exibir os detalhes de cada tarefa, incluindo a hora de início, a duração, o cluster e o status, passe o mouse sobre a célula dessa tarefa.

As barras de execução de trabalho e de tarefa são codificadas por cores para indicar o status da execução. As execuções bem-sucedidas estão em verdes, as malsucedidas em vermelho e as ignoradas em rosa. A altura das barras individuais de execução de trabalho e de execução de tarefa indica visualmente a duração da execução.

Se você tiver configurado um tempo de conclusão esperado, a exibição de matriz exibirá um aviso quando a duração de uma execução exceder o tempo configurado.

Por padrão, o modo de exibição de lista de execuções exibe:

• A hora de início da execução.
• O identificador de execução.
• Se a execução foi disparada por um agendamento de trabalho ou por uma solicitação de API ou se foi iniciada manualmente.
• O tempo decorrido de um trabalho em execução ou o tempo total de execução de uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• Links para os logs do Spark.
• O status da conexão, que será um dos seguintes: Queued,Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling ou Waiting for Retry.
• Clique em para acessar ações específicas de contexto para a execução, por exemplo, interromper uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na visualização da lista de execuções, clique no e selecione ou desmarque as colunas.

Para exibir detalhes de uma execução de trabalho, clique no link da execução na coluna Hora de início na exibição de lista de execuções. Para visualizar os detalhes da execução bem-sucedida mais recente desse trabalho, clique em Ir para a última execução bem-sucedida.

O Azure Databricks mantém um histórico das execuções dos trabalhos por até 60 dias. Se você precisar preservar as execuções de trabalho, a Databricks recomenda exportar os resultados antes que eles expirem. Para saber mais, confira Exportar resultados da execução do trabalho.

Exibir detalhes da execução do trabalho

A página de detalhes da execução do trabalho contém a saída do trabalho e links para logs, incluindo informações sobre o sucesso ou a falha de cada tarefa na execução do trabalho. Você pode acessar os detalhes da execução do trabalho na guia Execuções do trabalho. Para exibir os detalhes da execução do trabalho na guia Execuções, clique no link da execução na coluna Hora de início na exibição de lista de execuções. Para retornar à guia Execuções do trabalho, clique no valor ID do trabalho.

Se o trabalho contiver várias tarefas, clique em uma tarefa para exibir os detalhes da execução da tarefa, incluindo:

• o cluster que executou a tarefa
  • a interface do usuário do Spark da tarefa
  • os logs da tarefa
  • as métricas para a tarefa

Para retornar à guia Execuções do trabalho, clique no valor ID do Trabalho.

Exibir o histórico de execuções de tarefa

Para exibir o histórico de execuções de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

1. Clique em uma tarefa na página Detalhes da execução de trabalho. A página Detalhes da execução de tarefa é exibida.
2. Selecione a execução de tarefa no menu suspenso do histórico de execuções.

Exibir execuções de trabalho recentes

É possível exibir uma lista de execuções atualmente em execução e concluídas recentemente para todos os trabalhos em um workspace ao qual você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como o Apache Airflow ou o Azure Data Factory. Para exibir a lista de execuções de trabalho recentes:

1. Clique no Fluxos de Trabalho na barra lateral.
2. Clique na guia Execuções de trabalho para exibir a lista de execuções de trabalho.

O gráfico Contagem de execuções concluídas exibe o número de execuções de trabalho concluídas nas últimas 48 horas. Por padrão, o grafo exibe as execuções de trabalho com falha, ignoradas e bem-sucedidas. Você também pode filtrar o grafo para mostrar status de execução específicos ou restringir o grafo a um intervalo de tempo específico. A guia Execuções de trabalho também inclui uma tabela de execuções de trabalho dos últimos 67 dias. Por padrão, a tabela inclui detalhes sobre execuções de trabalho com falha, ignoradas e bem-sucedidas.

Observação

O grafo Contagem de execuções concluídas só é exibido quando você clica em Pertencente a mim.

Você pode filtrar a contagem de execuções concluídas executando status:

• Para atualizar o grafo para mostrar trabalhos em execução ou aguardando execução, clique em Execuções ativas.
• Para atualizar o grafo para mostrar apenas as execuções concluídas, incluindo execuções com falha, bem-sucedidas e ignoradas, clique em Execuções concluídas.
• Para atualizar o grafo para mostrar apenas as execuções concluídas com êxito nas últimas 48 horas, clique em Execuções bem-sucedidas.
• Para atualizar o grafo para mostrar apenas as execuções ignoradas, clique em Execuções ignoradas. As execuções são ignoradas porque você excedeu o número máximo de execuções simultâneas no workspace ou o trabalho excedeu o número máximo de execuções simultâneas especificadas pela configuração do trabalho.
• Para atualizar o grafo para mostrar apenas as execuções concluídas em um estado de erro, clique em Execuções com falha.

Quando você clica em qualquer um dos botões de filtro, a lista de execuções na tabela de execuções também é atualizada para mostrar apenas as execuções de trabalho que correspondem ao status selecionado.

Para limitar o intervalo de tempo exibido no grafo contagem de execuções concluídas, clique e arraste o cursor no grafo para selecionar o intervalo de tempo. O grafo e a atualização da tabela de execuções para exibir são executados somente do intervalo de tempo selecionado.

Por padrão, a lista de execuções na tabela de execuções exibe:

• A hora de início da execução.
• O nome do trabalho associado à execução.
• O nome de usuário com o qual o trabalho é executado.
• Se a execução foi disparada por um agendamento de trabalho ou por uma solicitação de API ou se foi iniciada manualmente.
• O tempo decorrido de um trabalho em execução ou o tempo total de execução de uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• O status da conexão, que será um dos seguintes: Queued,Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling ou Waiting for Retry.
• Todos os parâmetros para a execução.
• Clique em para acessar ações específicas de contexto para a execução, por exemplo, interromper uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na lista de execuções, clique no e selecione ou desmarque as colunas.

A tabela Os 5 principais tipos de erro exibe uma lista dos tipos de erro mais frequentes do intervalo de tempo selecionado, permitindo que você veja rapidamente as causas mais comuns de problemas de trabalho em seu workspace.

Para exibir os detalhes de execução do trabalho, clique no link na coluna Hora de início da execução. Para exibir os detalhes do trabalho, clique no nome do trabalho na coluna Trabalho.

Exibir informações de linhagem de um trabalho

Se o Unity Catalog estiver habilitado em seu workspace, você poderá exibir as informações de linhagem de qualquer tabela do Unity Catalog em seu fluxo de trabalho. Se as informações de linhagem estiver disponíveis para o fluxo de trabalho, você verá um link com uma contagem de tabelas upstream e downstream no painel Detalhes do trabalho do seu trabalho, o painel Detalhes da execução do trabalho para uma execução de trabalho ou o painel Detalhes da execução de tarefa para uma execução de tarefa. Clique no link para mostrar a lista de tabelas. Clique uma tabela para ver informações detalhadas no Explorador de Catálogos.

Exportar os resultados da execução do trabalho

Você pode exportar resultados de execução de notebook e logs de execução de trabalho para todos os tipos de trabalho.

Exportar resultados da execução de notebook

Você pode persistir as execuções de trabalho com a exportação de seus resultados. Para execuções de trabalho de notebook, você pode exportar um notebook renderizado que posteriormente pode ser importado para seu Workspace do Azure Databricks.

Para exportar os resultados da execução do notebook para um trabalho com uma única tarefa:

1. Na página de detalhes do trabalho, clique no link Exibir Detalhes da execução na coluna Execução da tabela Execuções Concluídas (últimos 60 dias).
2. Clique em Exportar para HTML.

Para exportar os resultados da execução do notebook para um trabalho com múltiplas tarefas:

1. Na página de detalhes do trabalho, clique no link Exibir Detalhes da execução na coluna Execução da tabela Execuções Concluídas (últimos 60 dias).
2. Clique na tarefa do notebook para exportar.
3. Clique em Exportar para HTML.

Exportar logs de execução de trabalho

Você também pode exportar os logs para a execução do trabalho. Você pode configurar seu trabalho para entregar logs automaticamente ao DBFS por meio da API de Trabalhos. Confira o objeto new_cluster.cluster_log_conf no corpo da solicitação transmitido à operação Criar um trabalho (POST /jobs/create) na API de Trabalhos.