Notas de versão do Delta Live Tables e o processo de atualização da versão

Artigo
04/11/2024

Este artigo explica o processo de lançamento do Delta Live Tables, como o tempo de execução do Delta Live Tables é gerenciado e fornece links para notas de versão para cada versão do Delta Live Tables.

Canais de tempo de execução do Delta Live Tables

Os clusters Delta Live Tables usam tempos de execução baseados em notas de versão do Databricks Runtime, versões e compatibilidade. O Databricks atualiza automaticamente os tempos de execução do Delta Live Tables para oferecer suporte a aprimoramentos e upgrades para a plataforma. Você pode usar o channel campo nas configurações do pipeline Delta Live Tables para controlar a versão de tempo de execução do Delta Live Tables que executa o pipeline. Os valores suportados são:

current para usar a versão de tempo de execução atual.
preview para testar seu pipeline com alterações futuras na versão de tempo de execução.

Por padrão, seus pipelines são executados usando a current versão de tempo de execução. O Databricks recomenda o uso do current tempo de execução para cargas de trabalho de produção. Para saber como usar a preview configuração para testar seus pipelines com a próxima versão do tempo de execução, consulte Automatizar o teste de seus pipelines com a próxima versão do tempo de execução.

Para ver as versões do Databricks Runtime usadas com uma versão do Delta Live Tables, consulte as notas de versão dessa versão.

Para obter mais informações sobre os canais Delta Live Tables, consulte o channel campo nas configurações do pipeline Delta Live Tables.

Para entender como o Delta Live Tables gerencia o processo de atualização para cada versão, consulte Como funcionam as atualizações do Delta Live Tables?.

Como posso encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos do Delta Live Tables para localizar a versão do Databricks Runtime para uma atualização de pipeline. Consulte Informações sobre o tempo de execução.

Notas de versão do Delta Live Tables

As notas de versão das Tabelas Dinâmicas Delta são organizadas por ano e semana do ano. Como o Delta Live Tables não tem versão, as alterações no espaço de trabalho e no tempo de execução ocorrem automaticamente. As seguintes notas de versão fornecem uma visão geral das alterações e correções de bugs em cada versão:

Como funcionam as atualizações do Delta Live Tables?

O Delta Live Tables é considerado um produto sem versão, o que significa que o Databricks atualiza automaticamente o tempo de execução do Delta Live Tables para suportar aprimoramentos e upgrades para a plataforma. O Databricks recomenda limitar as dependências externas para pipelines Delta Live Tables.

O Databricks trabalha proativamente para evitar que atualizações automáticas introduzam erros ou problemas nos pipelines Delta Live Tables de produção. Consulte Processo de atualização do Delta Live Tables.

Especialmente para usuários que implantam pipelines Delta Live Tables com dependências externas, o Databricks recomenda testar proativamente pipelines com preview canais. Consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

Processo de atualização do Delta Live Tables

O Databricks gerencia o Databricks Runtime usado pelos recursos de computação do Delta Live Tables. O Delta Live Tables atualiza automaticamente o tempo de execução em seus espaços de trabalho do Azure Databricks e monitora a integridade de seus pipelines após a atualização.

Se o Delta Live Tables detetar que um pipeline não pode ser iniciado devido a uma atualização, a versão de tempo de execução do pipeline será revertida para a versão anterior que é conhecida por ser estável e as seguintes etapas serão acionadas automaticamente:

O tempo de execução do Delta Live Tables do pipeline é fixado à versão anterior em boas condições.
A interface do usuário Delta Live Tables mostra um indicador visual de que o pipeline está fixado a uma versão anterior devido a uma falha de atualização.
O suporte a Databricks é notificado do problema.
- Se o problema estiver relacionado a uma regressão no tempo de execução, o Databricks resolverá o problema.
- Se o problema for causado por uma biblioteca personalizada ou pacote usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
Quando o problema é resolvido, o Databricks inicia a atualização novamente.

Importante

O Delta Live Tables reverte apenas pipelines em execução no modo de produção com o canal definido como current.

Automatize os testes de seus pipelines com a próxima versão de tempo de execução

Para garantir que as alterações na próxima versão de tempo de execução do Delta Live Tables não afetem seus pipelines, use o recurso de canais Delta Live Tables:

Crie um pipeline de preparo e defina o canal como preview.
Na interface do usuário do Delta Live Tables, crie uma agenda para executar o pipeline semanalmente e habilite alertas para receber uma notificação por email para falhas no pipeline. O Databricks recomenda agendar execuções de teste semanais de pipelines, especialmente se você usar dependências de pipeline personalizadas.
Se você receber uma notificação de uma falha e não conseguir resolvê-la, abra um tíquete de suporte com o Databricks.

Dependências de pipeline

Delta Live Tables suporta dependências externas em seus pipelines; por exemplo, você pode instalar qualquer pacote Python usando o %pip install comando. O Delta Live Tables também suporta o uso de scripts init globais e com escopo de cluster. No entanto, essas dependências externas, particularmente scripts init, aumentam o risco de problemas com atualizações de tempo de execução. Para reduzir esses riscos, minimize o uso de scripts init em seus pipelines. Se o seu processamento requer scripts init, automatize os testes do seu pipeline para detetar problemas antecipadamente; consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução. Se você usar scripts init, o Databricks recomenda aumentar a frequência de teste.

Share via