Enriqueça tabelas Delta Lake com metadados personalizados
O Databricks recomenda sempre fornecer comentários para tabelas e colunas em tabelas. Você pode gerar esses comentários usando IA. Consulte Adicionar comentários gerados por IA a uma tabela.
O Unity Catalog também fornece a capacidade de marcar dados. Consulte Aplicar tags.
Você também pode registrar mensagens para confirmações individuais em tabelas em um campo no log de transações do Delta Lake.
Definir metadados de confirmação definidos pelo usuário
Você pode especificar cadeias de caracteres definidas pelo usuário como metadados em confirmações, usando a opção userMetadata
DataFrameWriter ou a configuração spark.databricks.delta.commitInfo.userMetadata
SparkSession. Se ambos tiverem sido especificados, a opção terá preferência. Esses metadados definidos pelo usuário podem ser lidos DESCRIBE HISTORY
na operação. Veja Trabalhar com o histórico de tabelas do Delta Lake.
SQL
SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople
Python
df.write.format("delta") \
.mode("overwrite") \
.option("userMetadata", "overwritten-for-fixing-incorrect-data") \
.save("/tmp/delta/people10m")
Scala
df.write.format("delta")
.mode("overwrite")
.option("userMetadata", "overwritten-for-fixing-incorrect-data")
.save("/tmp/delta/people10m")