Konvertera till Delta Lake

CONVERT TO DELTA SQL-kommandot utför en engångskonvertering för Parquet- och Iceberg-tabeller till Delta Lake-tabeller. För inkrementell konvertering av parquet- eller isbergstabeller till Delta Lake, se Stegvis klona Parquet- och Isbergstabeller till Delta Lake.

Unity Catalog stöder CONVERT TO DELTA SQL-kommandot för Parquet- och Iceberg-tabeller som lagras på externa platser som hanteras av Unity Catalog.

Du kan konfigurera befintliga Parquet-datafiler som externa tabeller i Unity Catalog och sedan konvertera dem till Delta Lake för att låsa upp alla funktioner i Databricks lakehouse.

Den tekniska dokumentationen finns i KONVERTERA TILL DELTA.

Konvertera en katalog med Parquet- eller Iceberg-filer på en extern plats till Delta Lake

Kommentar

• Konvertering av isbergstabeller finns i offentlig förhandsversion.
• Konvertering av isbergstabeller stöds i Databricks Runtime 10.4 och senare.
• Det går inte att konvertera iceberg-metaarkivtabeller.
• Det går inte att konvertera isbergstabeller som har upplevt partitionsutveckling .
• Det går inte att konvertera Iceberg-sammanslagningstabeller som har upplevt uppdateringar, borttagningar eller sammanslagningar.
• Följande är begränsningar för att konvertera Isbergstabeller med partitioner som definierats för trunkerade kolumner:
  • I Databricks Runtime 12.2 LTS och nedan är stringden enda trunkerade kolumntypen som stöds .
  • I Databricks Runtime 13.3 LTS och senare kan du arbeta med trunkerade kolumner av typer string, longeller int.
  • Azure Databricks stöder inte arbete med trunkerade kolumner av typen decimal.

Du kan konvertera en katalog med Parquet-datafiler till en Delta Lake-tabell så länge du har skrivåtkomst på lagringsplatsen. Information om hur du konfigurerar åtkomst med Unity Catalog finns i Anslut till molnobjektlagring med Unity Catalog.

Kommentar

Unity Catalog kräver Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Om du vill läsa in konverterade tabeller som externa tabeller till Unity Catalog behöver CREATE TABLES du behörigheter på den externa platsen.

Kommentar

För Databricks Runtime 11.3 LTS och senare härleder CONVERT TO DELTA automatiskt partitioneringsinformation för tabeller som är registrerade i metaarkivet, vilket eliminerar kravet på att manuellt ange partitioner.

Konvertera hanterade och externa tabeller till Delta Lake i Unity Catalog

Unity Catalog stöder många format för externa tabeller, men stöder bara Delta Lake för hanterade tabeller. Information om hur du konverterar en hanterad Parquet-tabell direkt till en hanterad Delta Lake-tabell för Unity Catalog finns i Uppgradera en Hive-hanterad tabell till en hanterad Unity Catalog-tabell med CLONE.

Information om hur du uppgraderar en extern Parquet-tabell till en extern Unity Catalog-tabell finns i Uppgradera en enda Hive-tabell till en extern Unity Catalog-tabell med hjälp av uppgraderingsguiden.

När du har registrerat en extern Parquet-tabell i Unity Catalog kan du konvertera den till en extern Delta Lake-tabell. Observera att du måste ange partitioneringsinformation om parquet-tabellen är partitionerad.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);