قيود وضع الوصول إلى الحساب لكتالوج Unity

توصي Databricks باستخدام كتالوج Unity ووضع الوصول المشترك لمعظم أحمال العمل. توضح هذه المقالة القيود المختلفة لكل وضع وصول باستخدام كتالوج Unity. للحصول على تفاصيل حول أوضاع الوصول، راجع أوضاع الوصول.

توصي Databricks باستخدام نهج الحوسبة لتبسيط خيارات التكوين لمعظم المستخدمين. راجع إنشاء نهج الحوسبة وإدارتها.

إشعار

عدم العزل المشترك هو وضع وصول قديم لا يدعم كتالوج Unity.

هام

تتمتع البرامج النصية والمكتبات في Init بدعم مختلف عبر أوضاع الوصول وإصدارات وقت تشغيل Databricks. راجع أين يمكن تثبيت البرامج النصية init؟ والمكتبات ذات نطاق نظام المجموعة.

قيود وضع وصول مستخدم واحد على كتالوج Unity

وضع وصول مستخدم واحد في كتالوج Unity له القيود التالية. هذه بالإضافة إلى القيود العامة لكل وضع الوصول إلى كتالوج Unity. راجع القيود العامة ل Unity Catalog.

قيود التحكم في الوصول الدقيقة لوضع وصول مستخدم واحد لكتالوج Unity

• طرق العرض الديناميكية غير معتمدة.

• للقراءة من طريقة عرض، يجب أن يكون لديك SELECT على كافة الجداول وطرق العرض المشار إليها.

• لا يمكنك الوصول إلى جدول يحتوي على عامل تصفية صف أو قناع عمود.

• لا يمكنك استخدام حساب مستخدم واحد للاستعلام عن الجداول التي تم إنشاؤها بواسطة مسار Delta Live Tables الممكن لكتالوج Unity، بما في ذلك جداول الدفق وطرق العرض المجسدة التي تم إنشاؤها في Databricks SQL. للاستعلام عن الجداول التي تم إنشاؤها بواسطة مسار Delta Live Tables، يجب استخدام حساب مشترك باستخدام Databricks Runtime 13.3 LTS وما فوق.

قيود الدفق لوضع وصول مستخدم واحد لكتالوج Unity

• نقاط التفتيش غير المتزامنة غير مدعومة في Databricks Runtime 11.3 LTS والإدناه.

قيود وضع الوصول المشترك على كتالوج Unity

وضع الوصول المشترك في كتالوج Unity له القيود التالية. هذه بالإضافة إلى القيود العامة لكل وضع الوصول إلى كتالوج Unity. راجع القيود العامة ل Unity Catalog.

• Databricks Runtime ML وSpark التعلم الآلي Library (MLlib) غير مدعومين.

• مهام إرسال Spark غير مدعومة.

• في Databricks Runtime 13.3 وما فوق، يجب ألا تتجاوز الصفوف الفردية الحد الأقصى للحجم وهو 128 ميغابايت.

• عند استخدامها مع تمرير بيانات الاعتماد، يتم تعطيل ميزات كتالوج Unity.

• الحاويات المخصصة غير مدعومة.

دعم اللغة لوضع الوصول المشترك لكتالوج Unity

• R غير معتمدة.
• يتم دعم Scala على Databricks Runtime 13.3 وما فوق.

قيود واجهة برمجة تطبيقات Spark لوضع الوصول المشترك لكتالوج Unity

• واجهات برمجة تطبيقات RDD غير مدعومة.
• يتم دعم DBUtils والعملاء الآخرين الذين يقرؤون البيانات مباشرة من التخزين السحابي فقط عند استخدام موقع خارجي للوصول إلى موقع التخزين. راجع إنشاء موقع خارجي لتوصيل التخزين السحابي ب Azure Databricks.
• سياق Spark (sc)،spark.sparkContext، و sqlContext غير مدعومين ل Scala في أي وقت تشغيل Databricks ولا يتم دعمه ل Python في Databricks Runtime 14.0 وما فوق.
  • توصي Databricks باستخدام spark المتغير للتفاعل مع المثيل SparkSession .
  • الوظائف التالية sc غير مدعومة أيضا: emptyRDDو rangeو init_batched_serializerو parallelizeو pickleFileو textFilehadoopFilenewAPIHadoopRDDnewAPIHadoopFilewholeTextFilesbinaryFilesbinaryRecordssequenceFileو و hadoopRDDو. unionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf

قيود UDF لوضع الوصول المشترك لكتالوج Unity

هام

يتوفر دعم Scala UDFs على الحوسبة الممكنة لكتالوج Unity مع وضع الوصول المشترك في المعاينة العامة.

الوظائف المعرفة من قبل المستخدم (UDFs) لها القيود التالية مع وضع الوصول المشترك:

• Hive UDFs غير مدعومة.

• applyInPandas و mapInPandas غير مدعومين في Databricks Runtime 14.2 والإن الإصدارات أدناه.

• في Databricks Runtime 14.2 وما فوق، يتم دعم Scala UDFs العددية. لا يتم دعم Scala UDFs وUDAFs الأخرى.

• في Databricks Runtime 13.3 LTS وما فوق، يتم دعم Python scalar UDFs وPandas UDFs. لا يتم دعم Python UDFs الأخرى، بما في ذلك UDAFs وUDTFs وPandas على Spark.

راجع الدالات المعرفة من قبل المستخدم (UDFs) في كتالوج Unity.

قيود الدفق لوضع الوصول المشترك لكتالوج Unity

إشعار

بعض خيارات Kafka المدرجة لها دعم محدود عند استخدامها للتكوينات المدعومة على Azure Databricks. راجع معالجة الدفق باستخدام Apache Kafka وAzure Databricks.

• بالنسبة إلى Scala، foreach و foreachBatch غير مدعومين.
• بالنسبة إلى Python، foreachBatch لديه سلوك جديد في Databricks Runtime 14.0 وما فوق. راجع تغييرات السلوك foreachBatch في Databricks Runtime 14.0.
• بالنسبة إلى Scala، from_avro يتطلب Databricks Runtime 14.2 أو أعلى.
• applyInPandasWithStateغير مدعم.
• العمل مع مصادر مأخذ التوصيل غير مدعوم.
• sourceArchiveDir يجب أن يكون في نفس الموقع الخارجي للمصدر عند استخدامه option("cleanSource", "archive") مع مصدر بيانات يديره كتالوج Unity.
• بالنسبة لمصادر Kafka والمتلقيات، الخيارات التالية غير مدعومة:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• يتم دعم خيارات Kafka التالية في Databricks Runtime 13.3 LTS وما فوق ولكن غير مدعومة في Databricks Runtime 12.2 LTS. يمكنك فقط تحديد المواقع الخارجية التي يديرها كتالوج Unity لهذه الخيارات:
  • kafka.ssl.truststore.location
  • kafka.ssl.keystore.location

قيود الوصول إلى الشبكة ونظام الملفات لوضع الوصول المشترك لكتالوج Unity

• يجب تشغيل الأوامر على عقد الحوسبة كمستخدم ذي امتيازات منخفضة ممنوع من الوصول إلى الأجزاء الحساسة من نظام الملفات.

• في Databricks Runtime 11.3 LTS وما دونه، يمكنك فقط إنشاء اتصالات شبكة إلى المنفذين 80 و443.

• لا يمكن الاتصال بخدمة بيانات تعريف المثيل أو Azure WireServer.

القيود العامة للكتالوج Unity

تنطبق القيود التالية على جميع أوضاع الوصول الممكنة في كتالوج Unity.

قيود الدفق للكتالوج Unity

• وضع المعالجة المستمرة ل Apache Spark غير مدعوم. راجع المعالجة المستمرة في دليل برمجة Spark Structured Streaming.
• StreamingQueryListener يتعذر على استخدام بيانات الاعتماد أو التفاعل مع الكائنات التي يديرها كتالوج Unity.

راجع أيضا قيود الدفق لوضع وصولمستخدم واحد وحدود البث لوضع الوصول المشترك لكتالوج Unity.

لمزيد من البحث عن البث باستخدام كتالوج Unity، راجع استخدام كتالوج Unity مع الدفق المنظم.