قم بإنشاء تجمع

توضح هذه المقالة كيفية إنشاء تجمع باستخدام واجهة المستخدم. لمعرفة كيفية استخدام Databricks CLI لإنشاء تجمع، راجع Instance Pools CLI (legacy). لمعرفة كيفية استخدام واجهة برمجة تطبيقات REST لإنشاء تجمع، راجع واجهة برمجة تطبيقات تجمعات المثيلات.

المتطلبات

يجب أن يكون لديك إذن لإنشاء تجمع؛ راجع التحكم في الوصول إلى التجمع.

إنشاء تجمع باستخدام واجهة المستخدم

لإنشاء تجمع باستخدام واجهة المستخدم:

  1. انقر فوق compute iconحساب في الشريط الجانبي.
  2. انقر فوق علامة التبويب تجمعات.
  3. انقر فوق الزر إنشاء تجمع.
  4. حدد تكوين التجمع.
  5. انقر فوق الزر Create.

إرفاق نظام مجموعة بتجمع

لإرفاق مجموعة بتجمع باستخدام واجهة مستخدم إنشاء نظام المجموعة، حدد التجمع من القائمة المنسدلة نوع برنامج التشغيل أو نوع العامل عند تكوين نظام المجموعة. يتم سرد التجمعات المتوفرة في أعلى كل قائمة منسدلة. يمكنك استخدام نفس التجمع أو تجمعات مختلفة لعقدة برنامج التشغيل والعقد العاملة.

إذا كنت تستخدم Clusters API، يجب تحديد driver_instance_pool_id عقدة برنامج التشغيل وللعقد instance_pool_id العاملة.

حجم التجمع والإنهاء التلقائي

عند إنشاء تجمع، للتحكم في حجمه، يمكنك تعيين ثلاث معلمات: الحد الأدنى لمثيلات الخمول، والحد الأقصى للسعة، والإنهاء التلقائي لمثيل الخمول.

الحد الأدنى لمثيلات الخمول

الحد الأدنى لعدد المثيلات التي يحافظ فيها التجمع على الخمول. لا يتم إنهاء هذه المثيلات، بغض النظر عن إعدادات الإنهاء التلقائي. إذا كانت المجموعة تستهلك مثيلات الخامة من التجمع، فإن Azure Databricks توفر مثيلات إضافية للحفاظ على الحد الأدنى.

الحد الأقصى للسعة

الحد الأقصى لعدد المثيلات التي يمكن للتجمع توفيرها. إذا تم تعيينها، فإن هذه القيمة تقيد جميع المثيلات (الخاملة + المستخدمة). إذا طلبت مجموعة تستخدم التجمع مثيلات أكثر من هذا الرقم أثناء التحجيم التلقائي، يفشل الطلب مع حدوث خطأ INSTANCE_POOL_MAX_CAPACITY_FAILURE .

هذا التكوين اختياري. توصي Azure Databricks بتعيين قيمة فقط في الحالات التالية:

  • لديك حصة نسبية لمثيل يجب أن تبقى ضمنها.
  • تريد حماية مجموعة عمل واحدة من التأثير على مجموعة أخرى من العمل. على سبيل المثال، افترض أن الحصة النسبية للمثيل الخاص بك هي 100 ولديك فرق A وB تحتاج إلى تشغيل الوظائف. يمكنك إنشاء تجمع A بحد أقصى 50 وتجمع B بحد أقصى 50 بحيث يشترك الفريقان في الحصة النسبية البالغة 100 إلى حد ما.
  • تحتاج إلى الحد الأقصى للتكلفة.

الإنهاء التلقائي لمثيل الخمول

الوقت بالدقائق فوق القيمة المعينة في الحد الأدنى لمثيلات الخمول التي يمكن أن تكون المثيلات خامدة قبل إنهائها بواسطة التجمع.

أنواع المثيلات

يتكون التجمع من كل من المثيلات الخاملة التي تبقى جاهزة للمجموعات الجديدة والمثيلات المستخدمة عن طريق تشغيل المجموعات. جميع هذه المثيلات من نفس نوع موفر المثيل، محددة عند إنشاء تجمع.

لا يمكن تحرير نوع مثيل التجمع. تستخدم المجموعات المرفقة بتجمع نفس نوع المثيل لعقد برنامج التشغيل والعامل. تناسب مجموعات مختلفة من أنواع المثيلات حالات استخدام مختلفة، مثل أحمال العمل كثيفة الذاكرة أو كثيفة الحوسبة.

يوفر Azure Databricks دائما إشعارا بالإهمال لمدة عام واحد قبل إيقاف الدعم لنوع مثيل.

إشعار

إذا كانت متطلبات الأمان الخاصة بك تتضمن عزل الحساب، فحدد مثيل Standard_F72s_V2 كنوع العامل الخاص بك. تمثل أنواع المثيلات هذه الأجهزة الظاهرية المعزولة التي تستهلك المضيف الفعلي بأكمله وتوفر المستوى اللازم من العزل المطلوب لدعم، على سبيل المثال، أحمال عمل مستوى التأثير 5 (IL5) لوزارة الدفاع الأمريكية.

إصدار وقت تشغيل Databricks المحمل مسبقا

يمكنك تسريع عمليات تشغيل نظام المجموعة عن طريق تحديد إصدار Databricks Runtime ليتم تحميله على مثيلات الخامة في التجمع. إذا حدد المستخدم وقت التشغيل هذا عند إنشاء مجموعة مدعومة من التجمع، فسيتم تشغيل هذه المجموعة بسرعة أكبر من نظام المجموعة المدعومة بالتجمع الذي لا يستخدم إصدار وقت تشغيل Databricks محمل مسبقا.

يؤدي تعيين هذا الخيار إلى None إلى إبطاء تشغيل نظام المجموعة، لأنه يتسبب في تنزيل إصدار Databricks Runtime عند الطلب إلى المثيلات الخاملة في التجمع. عندما يصدر نظام المجموعة المثيلات في التجمع، يظل إصدار Databricks Runtime مخزنا مؤقتا على تلك المثيلات. قد تستفيد عملية إنشاء نظام المجموعة التالية التي تستخدم نفس إصدار وقت تشغيل Databricks من سلوك التخزين المؤقت هذا، ولكنها غير مضمونة.

صورة Docker محملة مسبقا

يتم دعم صور Docker مع التجمعات إذا كنت تستخدم واجهة برمجة تطبيقات تجمعات المثيلات لإنشاء التجمع.

علامات التجمع

تسمح لك علامات التجمع بمراقبة تكلفة موارد السحابة المستخدمة من قبل مجموعات مختلفة في مؤسستك بسهولة. يمكنك تحديد العلامات كأزواج قيم المفاتيح عند إنشاء تجمع، ويطبق Azure Databricks هذه العلامات على موارد السحابة مثل الأجهزة الظاهرية ووحدات تخزين القرص، بالإضافة إلى تقارير استخدام DBU.

للراحة، يطبق Azure Databricks ثلاث علامات افتراضية على كل تجمع: Vendorو DatabricksInstancePoolIdو DatabricksInstancePoolCreatorId. يمكنك أيضا إضافة علامات مخصصة عند إنشاء تجمع. يمكنك إضافة ما يصل إلى 41 علامة مخصصة.

علامات مخصصة

لإضافة علامات إضافية إلى التجمع، انتقل إلى علامة التبويب علامات التبويب في أسفل صفحة إنشاء تجمع . انقر فوق الزر + إضافة، ثم أدخل زوج قيمة المفتاح.

ترث المجموعات المدعومة بالتجمع العلامات الافتراضية والمخصصة من تكوين التجمع. للحصول على معلومات مفصلة حول كيفية عمل علامات التجمع وعلامات نظام المجموعة معا، راجع مراقبة الاستخدام باستخدام العلامات.

التحجيم التلقائي للتخزين المحلي

قد يكون من الصعب في كثير من الأحيان تقدير مقدار مساحة القرص التي ستستغرقها مهمة معينة. لحفظك من الاضطرار إلى تقدير عدد الجيجابايت من القرص المدار لإرفاقه بتجمعك في وقت الإنشاء، تمكن Azure Databricks تلقائيا التخزين المحلي للتحجيم التلقائي على جميع تجمعات Azure Databricks.

مع التخزين المحلي للتحجيم التلقائي، يراقب Azure Databricks مقدار مساحة القرص الحرة المتوفرة على مثيلات التجمع الخاص بك. إذا كان المثيل يعمل بشكل منخفض جدا على القرص، يتم إرفاق قرص مدار جديد تلقائيا قبل نفاد مساحة القرص. يتم إرفاق الأقراص بحد أقصى 5 ТБ من إجمالي مساحة القرص لكل جهاز ظاهري (بما في ذلك التخزين المحلي الأولي للجهاز الظاهري).

يتم فصل الأقراص المدارة المرفقة بجهاز ظاهري فقط عند إرجاع الجهاز الظاهري إلى Azure. أي أنه لا يتم فصل الأقراص المدارة أبدا عن جهاز ظاهري طالما أنه جزء من تجمع.

المثيلات الموضعية

لتوفير التكلفة، يمكنك اختيار استخدام المثيلات الموضعية عن طريق التحقق من الزر التبادلي All Spot .

سيتم تشغيل المجموعات في التجمع مع مثيلات موضعية لجميع العقد وبرنامج التشغيل والعامل (على عكس برنامج التشغيل المختلط عند الطلب وعمال المثيل الموضعي للمجموعات غير المجمعة).

إذا تم إخلاء المثيلات الموضعية بسبب عدم التوفر، فلا تحل المثيلات عند الطلب محل المثيلات التي تم إخلاؤها.

حذف تجمع

يؤدي حذف تجمع إلى إنهاء مثيلات التجمع الخاملة وإزالة التكوين الخاص به. لحذف تجمع، انقر فوق الأيقونة Delete Icon في الإجراءات على صفحة التجمعات. إذا حذفت تجمعا:

  • يستمر تشغيل المجموعات المرفقة بالتجمع في التشغيل، ولكن لا يمكن تخصيص مثيلات أثناء تغيير الحجم أو تكبير الحجم.
  • سيفشل بدء تشغيل المجموعات التي تم إنهاؤها والمرفقة بالتجمع.

هام

لا يمكنك التراجع عن هذا الإجراء.