カスタム メタデータを使用して Delta Lake テーブルをエンリッチする

  • [アーティクル]

Databricks では、テーブル内のテーブルと列に対してコメントを常に提供することを推奨しています。 これらのコメントは AI を使用して生成できます。 「AI によって生成されたコメントをテーブルに追加する」を参照してください。

Unity Catalog には、データにタグを付ける機能もあります。 「タグの適用」を参照してください。

Delta Lake トランザクション ログのフィールド内のテーブルに対する個々のコミットのメッセージをログに記録することもできます。

ユーザー定義のコミット メタデータを設定する

DataFrameWriter オプション userMetadata または SparkSession 構成 spark.databricks.delta.commitInfo.userMetadata のいずれかを使用し、コミットのメタデータとしてユーザー定義文字列を指定できます。 これらの両方が指定されている場合は、オプションは優先されます。 このユーザー定義メタデータは、DESCRIBE HISTORY 操作で読み取りが可能です。 「Delta Lake テーブル履歴を操作する」を参照してください。

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")