التحويل إلى Delta Lake

CONVERT TO DELTA يقوم أمر SQL بإجراء تحويل لمرة واحدة لجداول Parquet و Iceberg إلى جداول Delta Lake. للتحويل المتزايد لجداول Parquet أو Iceberg إلى Delta Lake، راجع استنساخ جداول Parquet و Iceberg بشكل متزايد إلى Delta Lake.

يدعم CONVERT TO DELTA كتالوج Unity أمر SQL لجداول Parquet و Iceberg المخزنة في مواقع خارجية يديرها كتالوج Unity.

يمكنك تكوين ملفات بيانات Parquet الموجودة كجداول خارجية في كتالوج Unity ثم تحويلها إلى Delta Lake لإلغاء تأمين جميع ميزات Databricks lakehouse.

للحصول على الوثائق التقنية، راجع CONVERT TO DELTA.

تحويل دليل ملفات Parquet أو Iceberg في موقع خارجي إلى Delta Lake

إشعار

• يتم تحويل جداول Iceberg في المعاينة العامة.
• يتم دعم تحويل جداول Iceberg في Databricks Runtime 10.4 وما فوق.
• تحويل جداول Iceberg metastore غير مدعوم.
• لا يتم دعم تحويل جداول Iceberg التي شهدت تطور القسم.
• لا يتم دعم تحويل جداول الدمج عند القراءة في Iceberg التي شهدت تحديثات أو عمليات حذف أو عمليات دمج.
• فيما يلي قيود لتحويل جداول Iceberg مع أقسام محددة على الأعمدة المقتطعة:
  • في Databricks Runtime 12.2 LTS وما يلي، نوع العمود المقتطع الوحيد المدعوم هو string.
  • في Databricks Runtime 13.3 LTS وما فوق، يمكنك العمل مع أعمدة مقتطعة من أنواع stringأو longأو int.
  • لا يدعم Azure Databricks العمل مع الأعمدة المقتطعة من النوع decimal.

يمكنك تحويل دليل ملفات بيانات Parquet إلى جدول Delta Lake طالما كان لديك حق الوصول للكتابة على موقع التخزين؛ للحصول على معلومات حول تكوين الوصول باستخدام كتالوج Unity، راجع الاتصال إلى تخزين كائن السحابة باستخدام كتالوج Unity.

إشعار

يتطلب كتالوج Unity Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

لتحميل الجداول المحولة كجداول خارجية إلى كتالوج Unity، تحتاج إلى CREATE TABLES أذونات على الموقع الخارجي.

إشعار

بالنسبة إلى Databricks Runtime 11.3 LTS وما فوق، CONVERT TO DELTA يستنتج تلقائيا معلومات التقسيم للجداول المسجلة في metastore، ما يلغي متطلبات تحديد الأقسام يدويا.

تحويل الجداول المدارة والخارجية إلى Delta Lake في كتالوج Unity

يدعم كتالوج Unity العديد من التنسيقات للجداول الخارجية، ولكنه يدعم Delta Lake فقط للجداول المدارة. لتحويل جدول Parquet مدار مباشرة إلى جدول Delta Lake كتالوج Unity مدار، راجع ترقية جدول مدار من Apache Hive إلى جدول مدار في كتالوج Unity باستخدام CLONE.

لترقية جدول Parquet خارجي إلى جدول خارجي في كتالوج Unity، راجع ترقية جدول Hive واحد إلى جدول خارجي كتالوج Unity باستخدام معالج الترقية.

بمجرد تسجيل جدول Parquet خارجي إلى كتالوج Unity، يمكنك تحويله إلى جدول Delta Lake خارجي. لاحظ أنه يجب توفير معلومات التقسيم إذا تم تقسيم جدول parquet.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);