مكتبات قائمة السماح والبرامج النصية في الحوسبة المشتركة

في Databricks Runtime 13.3 LTS وما فوق، يمكنك إضافة المكتبات والبرامج النصية init إلى allowlist في كتالوج Unity. يسمح هذا للمستخدمين بالاستفادة من هذه البيانات الاصطناعية على الحساب الذي تم تكوينه باستخدام وضع الوصول المشترك.

يمكنك السماح بقائمة دليل أو مسار ملف قبل وجود هذا الدليل أو الملف. راجع تحميل الملفات إلى وحدة تخزين كتالوج Unity.

إشعار

يجب أن تكون مسؤول metastore أو لديك MANAGE ALLOWLIST امتياز لتعديل قائمة السماح. راجع إدارة قائمة السماح.

هام

تتطلب ANY FILE المكتبات المستخدمة كمستخدمي JDBC أو مصادر بيانات Spark المخصصة على الحوسبة المشتركة الممكنة في كتالوج Unity أذونات.

تخزن بعض المكتبات المثبتة بيانات جميع المستخدمين في دليل مؤقت واحد شائع. قد تعرض هذه المكتبات عزل المستخدم للخطر.

كيفية إضافة عناصر إلى قائمة السماح

يمكنك إضافة عناصر إلى باستخدام مستكشف الكتالوج allowlist أو واجهة برمجة تطبيقات REST.

لفتح مربع الحوار لإضافة عناصر إلى قائمة السماح في مستكشف الكتالوج، قم بما يلي:

1. في مساحة عمل Azure Databricks، انقر فوق كتالوج.
2. انقر لفتح واجهة مستخدم تفاصيل metastore والأذونات.
3. حدد Allowed JARs/Init Scripts.
4. انقر فوق إضافة.

هام

يعرض هذا الخيار فقط للمستخدمين المميزين بشكل كاف. إذا لم تتمكن من الوصول إلى واجهة مستخدم قائمة السماح، فاتصل بمسؤول metastore للحصول على المساعدة في مكتبات قائمة السماح والبرامج النصية للتطوير.

إضافة برنامج نصي init إلى قائمة السماح

أكمل الخطوات التالية في مربع حوار قائمة السماح لإضافة برنامج نصي init إلى قائمة السماح:

1. بالنسبة إلى Type، حدد Init Script.
2. بالنسبة لنوع المصدر، حدد مستوى الصوت أو بروتوكول تخزين الكائن.
3. حدد مسار المصدر لإضافته إلى قائمة السماح. راجع كيف يتم فرض الأذونات على المسارات في قائمة السماح؟.

إضافة JAR إلى قائمة السماح

أكمل الخطوات التالية في مربع حوار قائمة السماح لإضافة JAR إلى قائمة السماح:

1. بالنسبة إلى النوع، حدد JAR.
2. بالنسبة لنوع المصدر، حدد مستوى الصوت أو بروتوكول تخزين الكائن.
3. حدد مسار المصدر لإضافته إلى قائمة السماح. راجع كيف يتم فرض الأذونات على المسارات في قائمة السماح؟.

إضافة إحداثيات Maven إلى قائمة السماح

أكمل الخطوات التالية في مربع حوار قائمة السماح لإضافة إحداثيات Maven إلى قائمة السماح:

1. بالنسبة إلى النوع، حدد Maven.
2. بالنسبة لنوع المصدر، حدد الإحداثيات.
3. أدخل الإحداثيات بالتنسيق التالي: groudId:artifactId:version.
   • يمكنك تضمين كافة إصدارات المكتبة عن طريق السماح بإدراج التنسيق التالي: groudId:artifactId.
   • يمكنك تضمين جميع البيانات الاصطناعية في مجموعة عن طريق السماح بإدراج التنسيق التالي: groupId.

كيف يتم فرض الأذونات على المسارات في قائمة السماح؟

يمكنك استخدام قائمة السماح لمنح حق الوصول إلى JARs أو البرامج النصية init المخزنة في وحدات تخزين كتالوج Unity وتخزين الكائن. إذا أضفت مسارا لدليل بدلا من ملف، فستنشر أذونات قائمة السماح إلى الملفات والدلائل المضمنة.

يتم استخدام مطابقة البادئة لجميع البيانات الاصطناعية المخزنة في وحدات تخزين كتالوج Unity أو تخزين الكائن. لمنع مطابقة البادئة على مستوى دليل معين، قم بتضمين شرطة مائلة لاحقة (/). على سبيل المثال: /Volumes/prod-libraries/.

يمكنك تحديد الأذونات على المستويات التالية:

1. المسار الأساسي لحاوية التخزين أو وحدة التخزين.
2. دليل متداخل في أي عمق من المسار الأساسي.
3. ملف واحد.

إضافة مسار إلى قائمة السماح يعني فقط أنه يمكن استخدام المسار إما لنصوص init أو تثبيت JAR. لا يزال Azure Databricks يتحقق من الأذونات للوصول إلى البيانات في الموقع المحدد.

يجب أن يكون لدى READ VOLUME الأساسي المستخدم أذونات على وحدة التخزين المحددة. راجع SELECT.

في وضع وصول مستخدم واحد، يتم استخدام هوية الأساسي المعين (مستخدم أو كيان خدمة).

في وضع الوصول المشترك:

• تستخدم المكتبات هوية مثبت المكتبة.
• تستخدم البرامج النصية Init هوية مالك نظام المجموعة.

إشعار

لا يدعم وضع الوصول المشترك بدون عزل وحدات التخزين، ولكنه يستخدم نفس تعيين الهوية مثل وضع الوصول المشترك.

توصي Databricks بتكوين جميع امتيازات تخزين الكائنات المتعلقة بالنصوص النصية والمكتبات التي تحتوي على أذونات للقراءة فقط. يمكن للمستخدمين الذين لديهم أذونات الكتابة على هذه المواقع تعديل التعليمات البرمجية في ملفات المكتبة أو البرامج النصية init.

توصي Databricks باستخدام أساسيات خدمة معرف Microsoft Entra لإدارة الوصول إلى JARs أو البرامج النصية init المخزنة في Azure Data Lake Storage Gen2. استخدم الوثائق المرتبطة التالية لإكمال هذا الإعداد:

1. إنشاء كيان خدمة مع أذونات القراءة والسرد على الكائنات الثنائية كبيرة الحجم المطلوبة. راجع الوصول إلى التخزين باستخدام مبدأ خدمة ومعرف Microsoft Entra (Azure Active Directory).

2. احفظ بيانات الاعتماد الخاصة بك باستخدام البيانات السرية. راجع الأسرار.

3. تعيين الخصائص في تكوين Spark والمتغيرات البيئية أثناء إنشاء نظام مجموعة، كما في المثال التالي:

   تكوين Spark:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   المتغيرات البيئية:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (اختياري) إعادة بناء التعليمات البرمجية لبرمجة التعليمات البرمجية باستخدام azcopy أو Azure CLI.

   يمكنك الرجوع إلى المتغيرات البيئية التي تم تعيينها أثناء تكوين نظام المجموعة داخل البرامج النصية للتهيئة لتمرير بيانات الاعتماد المخزنة كأسرار للتحقق من الصحة.

إشعار

تتم إدارة أذونات قائمة السماح ل JARs والبرامج النصية init بشكل منفصل. إذا كنت تستخدم نفس الموقع لتخزين كلا النوعين من العناصر، يجب إضافة الموقع إلى قائمة السماح لكل منهما.