إثراء جداول Delta Lake ببيانات تعريف مخصصة

توصي Databricks دائما بتوفير تعليقات للجداول والأعمدة في الجداول. يمكنك إنشاء هذه التعليقات باستخدام الذكاء الاصطناعي. راجع إضافة تعليقات تم إنشاؤها الذكاء الاصطناعي إلى جدول.

يوفر كتالوج Unity أيضا القدرة على وضع علامة على البيانات. راجع تطبيق العلامات.

يمكنك أيضا تسجيل رسائل للتثبيتات الفردية للجداول في حقل في سجل معاملات Delta Lake.

تعيين بيانات تعريف التثبيت المعرفة من قبل المستخدم

يمكنك تحديد السلاسل المعرفة من قبل المستخدم كبيانات تعريف في التثبيتات، إما باستخدام خيار userMetadata DataFrameWriter أو تكوين spark.databricks.delta.commitInfo.userMetadataSparkSession . إذا تم تحديد كليهما، فإن الخيار يأخذ التفضيل. بيانات التعريف المعرفة من قبل المستخدم قابلة للقراءة في DESCRIBE HISTORY العملية. راجع العمل مع محفوظات جدول Delta Lake.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")