Delta Lake-tabellen verrijken met aangepaste metagegevens

  • Artikel

Databricks raadt aan altijd opmerkingen voor tabellen en kolommen in tabellen op te geven. U kunt deze opmerkingen genereren met BEHULP van AI. Zie Door AI gegenereerde opmerkingen toevoegen aan een tabel.

Unity Catalog biedt ook de mogelijkheid om gegevens te taggen. Zie Tags toepassen.

U kunt ook berichten vastleggen voor afzonderlijke doorvoeringen naar tabellen in een veld in het Delta Lake-transactielogboek.

Door de gebruiker gedefinieerde doorvoermetagegevens instellen

U kunt door de gebruiker gedefinieerde tekenreeksen opgeven als metagegevens in doorvoeringen, met behulp van de optie userMetadata DataFrameWriter of de SparkSession-configuratie spark.databricks.delta.commitInfo.userMetadata. Als beide zijn opgegeven, heeft de optie voorkeur. Deze door de gebruiker gedefinieerde metagegevens kunnen worden gelezen in de DESCRIBE HISTORY bewerking. Raadpleeg Werken met de tabelgeschiedenis van Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")