Publicar dados de Tabelas Dinâmicas Delta no metastore do Hive

Você pode tornar os dados de saída do seu pipeline detectáveis e disponíveis para consulta publicando conjuntos de dados no metastore do Hive. Para publicar conjuntos de dados no metastore, insira um nome de esquema no campo Destino quando você criar um pipeline. Também é possível adicionar um banco de dados de destino a um pipeline existente.

Por padrão, todas as tabelas e exibições criadas no Delta Live Tables são locais no seu pipeline. Você deve publicar tabelas em um esquema de destino para consultar ou usar conjuntos de dados do Delta Live Tables fora do pipeline no qual elas foram declaradas.

Para publicar tabelas de seus pipelines no Catálogo Unity, consulte Usar o Catálogo Unity com seus pipelines do Delta Live Tables..

Como publicar conjuntos de dados do Delta Live Tables em um esquema

É possível declarar um esquema de destino para todas as tabelas no seu pipeline do Delta Live Tables usando o campo Esquema de Destino nas interfaces de usuário Configurações do Pipeline e Criar pipeline.

Também é possível especificar um esquema em uma configuração JSON, definindo o valor target.

É necessário executar uma atualização para que o pipeline publique os resultados no esquema de destino.

Você pode usar esse recurso com várias configurações de ambiente para publicar em diferentes esquemas com base em um ambiente. Por exemplo, você pode publicar em um esquema dev para desenvolvimento e em um esquema prod para dados de produção.

Como consultar conjuntos de dados em Delta Live Tables

Após a conclusão de uma atualização, é possível visualizar o esquema e as tabelas, consultar os dados ou usar os dados em aplicativos downstream.

Uma vez publicadas, as tabelas Delta Live Tables podem ser consultadas em qualquer ambiente com acesso ao esquema de destino. Isso inclui o Databricks SQL, notebooks e outros pipelines do Delta Live Tables.

Importante

Quando você cria uma configuração target, somente as tabelas e os metadados associados são publicados. As exibições não são publicadas no metastore.

Excluir as tabelas do esquema de destino

Se precisar calcular tabelas intermediárias que não se destinam ao consumo externo, você poderá impedir que elas sejam publicadas em um esquema usando a palavra-chave TEMPORARY. As tabelas temporárias ainda armazenam e processam dados de acordo com a semântica das tabelas Delta Live Tables, mas que não devem ser acessadas fora do pipeline atual. Uma tabela temporária persiste durante o tempo de vida do pipeline que a cria. Use a seguinte sintaxe para declarar tabelas temporárias:

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")