Converteren naar Delta Lake

De CONVERT TO DELTA SQL-opdracht voert een eenmalige conversie uit voor Parquet- en Iceberg-tabellen naar Delta Lake-tabellen. Zie Parquet- en Iceberg-tabellen incrementeel klonen naar Delta Lake voor incrementele conversie van Parquet- en Iceberg-tabellen naar Delta Lake.

Unity Catalog ondersteunt de SQL-opdracht CONVERT TO DELTA voor Parquet- en Iceberg-tabellen die zijn opgeslagen op externe locaties die worden beheerd door Unity Catalog.

U kunt bestaande Parquet-gegevensbestanden configureren als externe tabellen in Unity Catalog en deze vervolgens converteren naar Delta Lake om alle functies van databricks lakehouse te ontgrendelen.

Zie CONVERTEREN NAAR DELTA voor de technische documentatie.

Een map met Parquet- of Iceberg-bestanden op een externe locatie converteren naar Delta Lake

Notitie

• Het converteren van Iceberg-tabellen bevindt zich in openbare preview.
• Het converteren van Iceberg-tabellen wordt ondersteund in Databricks Runtime 10.4 en hoger.
• Het converteren van Iceberg-metastoretabellen wordt niet ondersteund.
• Het converteren van Iceberg-tabellen met een ervaren evolutie van partities wordt niet ondersteund.
• Het converteren van Ijsberg-samenvoegingstabellen met ervaren updates, verwijderingen of samenvoegingen wordt niet ondersteund.
• Hier volgen beperkingen voor het converteren van Iceberg-tabellen met partities die zijn gedefinieerd voor afgekapte kolommen:
  • In Databricks Runtime 12.2 LTS en hieronder wordt stringhet enige afgekapte kolomtype ondersteund.
  • In Databricks Runtime 13.3 LTS en hoger kunt u werken met afgekapte kolommen van typen string, longof int.
  • Azure Databricks biedt geen ondersteuning voor het werken met afgekapte kolommen van het type decimal.

U kunt een map met Parquet-gegevensbestanden converteren naar een Delta Lake-tabel zolang u schrijftoegang hebt op de opslaglocatie; Zie Verbinding maken voor opslag van cloudobjecten met behulp van Unity Catalog voor meer informatie over het configureren van toegang met Unity Catalog.

Notitie

Voor Unity Catalog is Azure Data Lake Storage Gen2 vereist.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Als u geconverteerde tabellen als externe tabellen wilt laden in Unity Catalog, hebt u machtigingen nodig CREATE TABLES op de externe locatie.

Notitie

Voor Databricks Runtime 11.3 LTS en hoger CONVERT TO DELTA worden gegevens over partitionering automatisch afgeleid voor tabellen die zijn geregistreerd in de metastore, waardoor u geen partities handmatig moet opgeven.

Beheerde en externe tabellen converteren naar Delta Lake in Unity Catalog

Unity Catalog ondersteunt veel indelingen voor externe tabellen, maar ondersteunt alleen Delta Lake voor beheerde tabellen. Als u een beheerde Parquet-tabel rechtstreeks wilt converteren naar een beheerde Unity Catalog Delta Lake-tabel, raadpleegt u Upgrade a Hive managed table to a Unity Catalog managed table using CLONE.

Als u een externe Parquet-tabel wilt upgraden naar een externe tabel van Unity Catalog, raadpleegt u Een enkele Hive-tabel upgraden naar een externe tabel van Unity Catalog met behulp van de upgradewizard.

Nadat u een externe Parquet-tabel hebt geregistreerd in Unity Catalog, kunt u deze converteren naar een externe Delta Lake-tabel. Houd er rekening mee dat u partitioneringsgegevens moet opgeven als de parquet-tabel is gepartitioneerd.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);