テーブルのバージョン管理 Table Versioning

デルタテーブルのトランザクションログには、Delta Lake の進化に対応したバージョン管理情報が含まれています。The transaction log for a Delta table contains versioning information that supports Delta Lake evolution. Delta Lake は、最小のリーダーとライターのバージョンを個別に追跡します。Delta Lake tracks minimum reader and writer version separately.

Delta Lake は旧バージョンとの互換性を保証します。Delta Lake guarantees backward compatibility. 新しいバージョンの Databricks Runtime では、以前のバージョンの Databricks Runtime によって書き込まれたデータを常に読み取ることができます。A newer version of Databricks Runtime will always be able to read data that was written by an older version of Databricks Runtime.

デルタレイクが上位互換性を損なうことがあります。Delta Lake will occasionally break forward compatibility. 以前のバージョンの Databricks Runtime では、Databricks Runtime の新しいバージョンによって書き込まれたデータの読み取りと書き込みができない場合があります。Older versions of Databricks Runtime may not be able to read and write data that was written by a newer version of Databricks Runtime. 古いバージョンの Databricks Runtime を含むテーブルに対して読み取りと書き込みを行おうとすると、アップグレードが必要であることを示すエラーが表示されます。If you try to read and write to a table with a version of Databricks Runtime that is too old, you’ll get an error telling you that you need to upgrade.

既存のテーブルの場合は、新しいバージョンの可用性についての警告が表示され、テーブルをアップグレードするオプションが表示されます。For existing tables, you’ll be warned about the availability of new version and given the option to upgrade the table. 新しい機能 (たとえば、追加専用テーブル) を使用するには、のアップグレードが必要になることがあります。Sometimes you may be required to upgrade before you are able to use new features (for example, append-only tables).

重要

Databricks Runtime 4.1 のリーダーバージョンは変更されませんでしたが、Databricks Runtime 4.1 のライターのバージョンがインクリメントされました。The reader version in Databricks Runtime 4.1 did not change, but the writer version in Databricks Runtime 4.1 was incremented. その結果、次のようになります。As a consequence:

  • 4.1 より Databricks Runtime 低い Databricks Runtime 4.1 以降で作成されたテーブルに_は書き込むことができません_。You cannot write to tables created by Databricks Runtime 4.1 and above with Databricks Runtime lower than 4.1.

  • 4.1 より Databricks Runtime 低い Databricks Runtime 4.1 以降で作成されたテーブルを読み取る_ことができ_ます。You can read tables written by Databricks Runtime 4.1 and above with Databricks Runtime lower than 4.1.

  • Databricks Runtime 4.1 の機能強化を利用するには、4.1 より Databricks Runtime 低いバージョンのを使用して作成されたテーブルをアップグレードする必要があります。To take advantage of Databricks Runtime 4.1 improvements, you must upgrade tables created using versions of Databricks Runtime lower than 4.1. テーブルをアップグレードするには、まず、テーブルに書き込んでいるすべてのジョブをアップグレードします。To upgrade a table, first upgrade all jobs that are writing to the table. 次に、以下を実行します。Then run:

    com.databricks.delta.Delta.upgradeTable("</path/to/table>" or "<tableName>")