التحجيم التلقائي ل HDInsight على مجموعات AKS

هام

هذه الميزة في وضع المعاينة حاليًا. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure المزيد من الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو قيد المعاينة أو التي لم يتم إصدارها بعد في التوفر العام. للحصول على معلومات حول هذه المعاينة المحددة، راجع معلومات معاينة Azure HDInsight على AKS. للأسئلة أو اقتراحات الميزات، يرجى إرسال طلب على AskHDInsight مع التفاصيل ومتابعتنا لمزيد من التحديثات على مجتمع Azure HDInsight.

إن تغيير حجم أي نظام مجموعة لتلبية الأداء الوظيفي وإدارة التكاليف في وقت متقدم صعب دائما، ويصعب تحديده! واحدة من الفوائد المربحة لبناء منزل بحيرة البيانات عبر السحابة هي مرونتها، ما يعني استخدام ميزة التحجيم التلقائي لزيادة استخدام الموارد المتاحة إلى أقصى حد. يعد التوسع التلقائي باستخدام Kubernetes أحد المفاتيح لإنشاء نظام بيئي محسن للتكلفة. مع أنماط استخدام متنوعة في أي مؤسسة، قد تكون هناك اختلافات في أحمال نظام المجموعة بمرور الوقت والتي قد تؤدي إلى نقص توفير المجموعات (الأداء الرديء) أو الإفراط في التوفير (التكاليف غير الضرورية بسبب الموارد الخاملة).

يمكن لميزة التحجيم التلقائي المقدمة في HDInsight على AKS زيادة أو تقليل عدد العقد العاملة في مجموعتك تلقائيا. يستخدم المقياس التلقائي مقاييس نظام المجموعة ونهج التحجيم المستخدمة من قبل العملاء.

هذه الميزة مناسبة تماما لأحمال العمل الحرجة للمهام، والتي قد تحتوي على

• أنماط نسبة استخدام الشبكة المتغيرة أو غير المتوقعة وتتطلب اتفاقيات مستوى الخدمة على أداء ومقياس عالين أو
• جدول زمني محدد مسبقا للعقد العاملة المطلوبة لتكون متاحة لتنفيذ المهام بنجاح على نظام المجموعة.

المقياس التلقائي باستخدام HDInsight على مجموعات AKS يجعل المجموعات فعالة من حيث التكلفة ومرنة على Azure.

باستخدام التحجيم التلقائي، يمكن للعملاء تقليص المجموعات دون التأثير على أحمال العمل. يتم تمكينه مع قدرات متقدمة مثل إيقاف التشغيل بأمان وفترة التبريد. تمكن هذه القدرات المستخدمين من اتخاذ خيارات مستنيرة بشأن إضافة العقد وإزالتها استنادا إلى الحمل الحالي للمجموعة.

طريقة العمل

تعمل هذه الميزة عن طريق تحجيم عدد العقد ضمن حدود محددة مسبقا استنادا إلى مقاييس نظام المجموعة أو جدول زمني محدد لعمليات التوسيع والتحجيم. هناك نوعان من الشروط لتشغيل أحداث التحجيم التلقائي: المشغلات المستندة إلى الحد لمقاييس أداء نظام المجموعة المختلفة (تسمى التحجيم المستند إلى التحميل) والمشغلات المستندة إلى الوقت (تسمى التحجيم المستند إلى الجدول الزمني).

يغير القياس على أساس الحمل عدد العقد في مجموعتك، ضمن النطاق الذي تحدده، لضمان الاستخدام الأمثل لوحدة المعالجة المركزية وتقليل تكلفة التشغيل.

يغير القياس المستند إلى الجدول الزمني عدد العقد في مجموعتك استناداً إلى جدول عمليات توسيع النطاق وتقليصه.

إشعار

لا يدعم المقياس التلقائي تغيير نوع SKU لمجموعة موجودة.

توافق نظام المجموعة

يصف الجدول التالي أنواع نظام المجموعة المتوافقة مع ميزة المقياس التلقائي، وما هو متوفر أو مخطط له.

حمل العمل	مستند إلى التحميل	يستند إلى الجدول الزمني
وصلة	المخطط	‏‏نعم‬
Trino	‏‏نعم**	‏‏نعم**
Spark	‏‏نعم**	‏‏نعم**

**إيقاف التشغيل بأمان قابل للتكوين.

أساليب التحجيم

• التحجيم المستند إلى الجدول الزمني:

  • عندما يتوقع تشغيل وظائفك على جداول زمنية ثابتة ولفترة يمكن التنبؤ بها أو عندما تتوقع استخداما منخفضا خلال أوقات محددة من اليوم، على سبيل المثال، بيئات الاختبار والتطوير في ساعات ما بعد العمل، وظائف نهاية اليوم.

    

• المقياس المستند إلى التحميل:

  • عندما تتقلب أنماط التحميل بشكل كبير وغير متوقع خلال اليوم، على سبيل المثال، طلب معالجة البيانات مع تقلبات عشوائية في أنماط التحميل استنادا إلى عوامل مختلفة.

    

    باستخدام خيار قاعدة المقياس الجديد، يمكنك الآن تخصيص قواعد المقياس.

    

    

    تلميح

    • تكون لقواعد توسيع النطاق الأسبقية عند تشغيل قاعدة واحدة أو أكثر. حتى إذا كانت إحدى قواعد توسيع النطاق تشير إلى أن نظام المجموعة غير مضمن، فستحاول المجموعة توسيع نطاقها. لكي يحدث تقليص الحجم، يجب عدم تشغيل أي قاعدة لزيادة الحجم.

شروط المقياس على أساس الحمل

عند الكشف عن الشروط التالية، يصدر التحجيم التلقائي طلب تحجيم

تكبير الحجم	تصغير الحجم
الذاكرات الأساسية المخصصة أكبر من 80٪ للفاصل الزمني للاستقصاء لمدة 5 دقائق (فترة فحص مدتها دقيقة واحدة)	الذاكرات الأساسية المخصصة أقل من أو تساوي 20٪ للفاصل الزمني للاستقصاء لمدة 5 دقائق (فترة فحص مدتها دقيقة واحدة)

• للتحجيم، يصدر التحجيم التلقائي طلب توسيع لإضافة العدد المطلوب من العقد. يعتمد توسيع النطاق على عدد عقد العمال الجديدة اللازمة لتلبية متطلبات وحدة المعالجة المركزية والذاكرة الحالية. يتم تعيين هذه القيمة إلى الحد الأقصى لعدد العقد العاملة التي تم تعيينها.

• للتحجيم، يصدر التحجيم التلقائي طلبا لإزالة بعض العقد. تتضمن اعتبارات تقليص الحجم عدد الحجيرات لكل عقدة ومتطلبات وحدة المعالجة المركزية الحالية والذاكرة والعقد العاملة، وهي مرشحة للإزالة بناء على تنفيذ المهمة الحالي. تعطل عملية التحجيم التلقائي نقصانًا العقد أولاً ثم تزيلها من المجموعة.

  هام

  يقوم Auto scale Rule Engine بمسح الأحداث القديمة بشكل استباقي كل 30 دقيقة لتحسين ذاكرة النظام. ونتيجة لذلك، يوجد حد أقصى منضم يبلغ 30 دقيقة على الفاصل الزمني لقاعدة التحجيم. لضمان التشغيل المتسق والموثوق لإجراءات التحجيم، من الضروري تعيين الفاصل الزمني لقاعدة التحجيم إلى قيمة أقل من الحد. من خلال الالتزام بهذا المبدأ التوجيهي، يمكنك ضمان عملية تحجيم سلسة وفعالة مع إدارة موارد النظام بفعالية.

قياسات نظام المجموعة

يراقب المقياس التلقائي نظام المجموعة باستمرار ويجمع المقاييس التالية للتحجيم التلقائي المستند إلى التحميل:

مقاييس نظام المجموعة المتوفرة لأغراض التحجيم

مقياس	‏‏الوصف
النسبة المئوية للذاكرات الأساسية المتوفرة	العدد الإجمالي للذاكرات الأساسية المتوفرة في المجموعة مقارنة بالعدد الإجمالي للذاكرات الأساسية في المجموعة.
النسبة المئوية للذاكرة المتوفرة	إجمالي الذاكرة (بالميغابايت) المتوفرة في نظام المجموعة مقارنة بالمقدار الإجمالي للذاكرة في نظام المجموعة.
النسبة المئوية للذاكرات الأساسية المخصصة	العدد الإجمالي للذاكرات الأساسية المخصصة في نظام المجموعة مقارنة بالعدد الإجمالي للذاكرات الأساسية في المجموعة.
النسبة المئوية للذاكرة المخصصة	مقدار الذاكرة المخصصة في نظام المجموعة مقارنة بالمقدار الإجمالي للذاكرة في نظام المجموعة.

بشكل افتراضي، يتم التحقق من المقاييس أعلاه كل 300 ثانية، كما أنها قابلة للتكوين عند تخصيص الفاصل الزمني للاستقصاء مع خيار تخصيص التحجيم التلقائي. يتخذ التحجيم التلقائي قرارات توسيع النطاق أو تقليصه استنادا إلى هذه المقاييس.

إشعار

يستخدم المقياس التلقائي افتراضيا حاسبة الموارد الافتراضية ل YARN ل Apache Spark. يتوفر التحجيم المستند إلى التحميل لمجموعة Apache Spark.

إيقاف التشغيل بأمان

تحتاج الشركات إلى طرق لتحقيق مقياس بيتابايت مع التحجيم التلقائي وإيقاف تشغيل الموارد بأمان عندما لا تكون هناك حاجة إليها. في مثل هذا السيناريو، تأتي ميزة إيقاف التشغيل بأمان مفيدة.

يسمح إيقاف التشغيل بأمان بإكمال المهام حتى بعد أن يؤدي التحجيم التلقائي إلى إيقاف تشغيل العقد العاملة. تسمح هذه الميزة باستمرار توفير العقد حتى تكتمل المهام.

• Trino : تم تمكين إيقاف تشغيل الرشيق للعاملين بشكل افتراضي. يسمح المنسق لعامل الإنهاء بإنهاء مهامه لفترة زمنية مكونة قبل إزالة العامل من نظام المجموعة. يمكنك تكوين المهلة إما باستخدام معلمة shutdown.grace-periodTrino الأصلية ، أو في صفحة تكوين خدمة مدخل Microsoft Azure.

• Apache Spark : قد يؤثر التحجيم على أو يوقف أي مهام قيد التشغيل في نظام المجموعة. إذا قمت بتمكين إعدادات "Graceful Decommissioning" على مدخل Microsoft Azure، فإنه يتضمن "Graceful Decommission of YARN Nodes" ويضمن اكتمال أي عمل قيد التقدم على عقدة عاملة قبل إزالة العقدة من نظام مجموعة HDInsight على AKS.

فترة تهدئة

لتجنب عمليات التوسيع المستمرة، ينتظر محرك التحجيم التلقائي فاصلا زمنيا قابلا للتكوين قبل بدء مجموعة أخرى من عمليات توسيع النطاق. يتم تعيين القيمة الافتراضية إلى 180 ثانية

إشعار

• في قواعد المقياس المخصصة، لا يمكن أن يكون لمشغل قاعدة فاصل زمني مشغل أكبر من 30 دقيقة. بعد حدوث حدث تحجيم تلقائي، مقدار الوقت للانتظار قبل فرض نهج تحجيم آخر.
• يجب أن تكون فترة التهدئة أكبر من الفاصل الزمني للنهج، بحيث يمكن إعادة تعيين مقاييس نظام المجموعة.

الشروع في العمل

1. لكي يعمل التحجيم التلقائي، يطلب منك تعيين إذن المالك أو المساهم إلى MSI (المستخدم أثناء إنشاء نظام المجموعة) على مستوى نظام المجموعة، باستخدام IAM في الجزء الأيمن.

2. راجع الرسم التوضيحي التالي والخطوات المذكورة حول كيفية إضافة تعيين الدور

   

3. حدد تعيين إضافة دور،

   1. نوع التعيين: أدوار المسؤول المتميزة
   2. الدور: المالك أو المساهم
   3. الأعضاء: اختر الهوية المدارة وحدد الهوية المدارة المعينة من قبل المستخدم، والتي تم تقديمها أثناء مرحلة إنشاء نظام المجموعة.
   4. عين الدور.

إنشاء نظام مجموعة باستخدام مقياس تلقائي يستند إلى الجدول الزمني

1. بمجرد إنشاء تجمع نظام المجموعة الخاص بك، قم بإنشاء مجموعة جديدة مع حمل العمل المطلوب (على نوع نظام المجموعة)، وأكمل الخطوات الأخرى كجزء من عملية إنشاء نظام المجموعة العادية.

2. في علامة التبويب Configuration ، قم بتمكين تبديل Auto scale .

3. حدد التحجيم التلقائي المستند إلى الجدول الزمني

4. حدد المنطقة الزمنية ثم انقر فوق + إضافة قاعدة

5. حدد أيام الأسبوع التي يجب أن تنطبق عليها الحالة الجديدة.

6. قم بتحرير الوقت الذي يجب أن يسري فيه الشرط وعدد العقد التي يجب تغيير حجم نظام المجموعة إليها.

   

   إشعار

   • يجب أن يكون للمستخدم دور "مالك" أو "مساهم" على نظام المجموعة MSI للتحجيم التلقائي للعمل.
   • تحدد القيمة الافتراضية الحجم الأولي للمجموعة عند إنشائها.
   • يتم تعيين الفرق بين جدولين إلى افتراضي بمقدار 30 دقيقة.
   • تتبع قيمة الوقت تنسيق 24 ساعة
   • في حالة وجود نافذة مستمرة تتجاوز 24 ساعة عبر الأيام، مطلوب منك تعيين جدول التحجيم التلقائي عبر الأيام، ويفترض التحجيم التلقائي 23:59 ك 00:00 (مع نفس عدد العقدة) يمتد عبر يومين من 22:00 إلى 23:59، 00:00 إلى 02:00 ك 22:00 إلى 02:00.
   • يتم تعيين الجداول الزمنية في التوقيت العالمي المتفق عليه (UTC)، بشكل افتراضي. يمكنك دائما التحديث إلى المنطقة الزمنية التي تتوافق مع منطقتك الزمنية المحلية في القائمة المنسدلة المتوفرة. عندما تكون في منطقة زمنية تراقب التوقيت الصيفي، لا يتم ضبط الجدول تلقائيا، فأنت مطالب بإدارة تحديثات الجدول وفقا لذلك.

إنشاء نظام مجموعة باستخدام مقياس تلقائي يستند إلى التحميل

1. بمجرد إنشاء تجمع نظام المجموعة الخاص بك، قم بإنشاء مجموعة جديدة مع حمل العمل المطلوب (على نوع نظام المجموعة)، وأكمل الخطوات الأخرى كجزء من عملية إنشاء نظام المجموعة العادية.

2. في علامة التبويب Configuration ، قم بتمكين تبديل Auto scale .

3. حدد التحجيم التلقائي المستند إلى التحميل

4. استنادا إلى نوع حمل العمل، لديك خيارات لإضافة مهلة مريحة لإيقاف التشغيل، وتهدئة الفترة

5. حدد الحد الأدنى والحد الأقصى للعقد، وإذا لزم الأمر، قم بتكوين قواعد المقياس لتخصيص مقياس تلقائي لاحتياجاتك.

   

   تلميح

   • اشتراكك له حصة سعة لكل منطقة. لا يمكن أن يتجاوز إجمالي عدد الأنوية لعقد الرأس والعقد القصوى للعمال حصة السعة. ومع ذلك، تعتبر هذه الحصة حداً ضعيفاً؛ يمكنك دائماً إنشاء بطاقة دعم لزيادة حجمها بسهولة.
   • إذا تجاوزت الحد الإجمالي للحصة النسبية الأساسية، فستتلقى رسالة خطأ تقول The maximum node count you can select is {maxCount} due to the remaining quota in the selected subscription ({remaining} cores).
   • تكون لقواعد توسيع النطاق الأسبقية عند تشغيل قاعدة واحدة أو أكثر. حتى إذا كانت إحدى قواعد توسيع النطاق تشير إلى أن نظام المجموعة غير مضمن، فستحاول المجموعة توسيع نطاقها. لكي يحدث تقليص الحجم، يجب عدم تشغيل أي قاعدة لزيادة الحجم.
   • في المعاينة العامة، يدعم HDInsight على AKS ما يصل إلى 500 عقدة في نظام مجموعة.

قم بإنشاء كتلة باستخدام قالب Resource Manager

المقياس التلقائي المستند إلى الجدول الزمني

يمكنك إنشاء HDInsight على نظام مجموعة AKS باستخدام التحجيم التلقائي المستند إلى الجدول الزمني باستخدام قالب Azure Resource Manager، عن طريق إضافة مقياس تلقائي إلى مقطع clusterProfile -> autoscaleProfile.

تحتوي عقدة التحجيم التلقائي على تكرار يحتوي على المنطقة الزمنية والجدول الزمني الذي يصف وقت حدوث التغيير. للحصول على قالب Resource Manager كامل، راجع نموذج JSON

{
  "autoscaleProfile": {
    "enabled": true,
    "autoscaleType": "ScheduleBased",
    "gracefulDecommissionTimeout": 60,
    "scheduleBasedConfig": {
      "schedules": [
        {
          "days": [
            "Monday",
            "Tuesday",
            "Wednesday"
          ],
          "startTime": "09:00",
          "endTime": "10:00",
          "count": 2
        },
        {
          "days": [
            "Sunday",
            "Saturday"
          ],
          "startTime": "12:00",
          "endTime": "22:00",
          "count": 5
        },
        {
          "days": [
            "Monday",
            "Tuesday",
            "Wednesday",
            "Thursday",
            "Friday"
          ],
          "startTime": "22:00",
          "endTime": "23:59",
          "count": 6
        },
        {
          "days": [
            "Monday",
            "Tuesday",
            "Wednesday",
            "Thursday",
            "Friday"
          ],
          "startTime": "00:00",
          "endTime": "05:00",
          "count": 6
        }
      ],
      "timeZone": "UTC",
      "defaultCount": 110
    }
  }
}

تلميح

• مطلوب منك تعيين جداول غير متعارضة باستخدام عمليات نشر ARM، لتجنب فشل عملية التحجيم.

التحجيم التلقائي المستند إلى التحميل

يمكنك إنشاء HDInsight على نظام مجموعة AKS باستخدام التحجيم التلقائي المستند إلى التحميل باستخدام قالب Azure Resource Manager، عن طريق إضافة مقياس تلقائي إلى مقطع clusterProfile -> autoscaleProfile.

تحتوي عقدة التحجيم التلقائي على

• فاصل زمني للاستقصاء، فترة تهدئة،
• إيقاف التشغيل بأمان،
• الحد الأدنى والحد الأقصى للعقد،
• قواعد العتبة القياسية،
• قياسات التحجيم التي تصف وقت حدوث التغيير.

للحصول على قالب Resource Manager كامل، راجع نموذج JSON كما يلي

  {
  "autoscaleProfile": {
    "enabled": true,
    "autoscaleType": "LoadBased",
    "gracefulDecommissionTimeout": 60,
    "loadBasedConfig": {
      "minNodes": 2,
      "maxNodes": 157,
      "pollInterval": 300,
      "cooldownPeriod": 180,
      "scalingRules": [
        {
          "actionType": "scaleup",
          "comparisonRule": {
            "threshold": 80,
            "operator": " greaterThanOrEqual"
          },
          "evaluationCount": 1,
          "scalingMetric": "allocatedCoresPercentage"
        },
        {
          "actionType": "scaledown",
          "comparisonRule": {
            "threshold": 20,
            "operator": " lessThanOrEqual"
          },
          "evaluationCount": 1,
          "scalingMetric": "allocatedCoresPercentage"
        }
      ]
    }
  }
}

باستخدام واجهة برمجة تطبيقات REST

لتمكين أو تعطيل التحجيم التلقائي على نظام مجموعة قيد التشغيل باستخدام واجهة برمجة تطبيقات REST، قم بإجراء طلب PATCH إلى نقطة نهاية التحجيم التلقائي: https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTER_POOL_NAME}}/clusters/{{CLUSTER_NAME}}?api-version={{HILO_API_VERSION}}

• استخدم المعلمات المناسبة في حمولة الطلب. يمكن استخدام حمولة json لتمكين التحجيم التلقائي.
• استخدم الحمولة (autoscaleProfile: null) أو استخدم العلامة (ممكنة، خطأ) لتعطيل المقياس التلقائي.
• راجع نماذج JSON المذكورة في الخطوة أعلاه للرجوع إليها.

إيقاف المقياس التلقائي مؤقتا لنظام مجموعة قيد التشغيل

لقد قدمنا ميزة الإيقاف المؤقت في المقياس التلقائي. الآن، باستخدام مدخل Microsoft Azure، يمكنك إيقاف التحجيم التلقائي مؤقتا على نظام مجموعة قيد التشغيل. يوضح الرسم التخطيطي أدناه كيفية تحديد الإيقاف المؤقت واستئناف التحجيم التلقائي

يمكنك الاستئناف بمجرد أن ترغب في استئناف عمليات التحجيم التلقائي.

تلميح

عند تكوين جداول متعددة، وكنت تقوم بإيقاف التحجيم التلقائي مؤقتا، فإنه لا يؤدي إلى تشغيل الجدول التالي. يظل عدد العقد كما هو، حتى إذا كانت العقد في حالة إيقاف التشغيل.

نسخ تكوينات المقياس التلقائي

باستخدام مدخل Microsoft Azure، يمكنك الآن نسخ نفس تكوينات التحجيم التلقائي لنفس شكل نظام المجموعة عبر تجمع نظام المجموعة الخاص بك، يمكنك استخدام هذه الميزة وتصدير أو استيراد نفس التكوينات.

مراقبة أنشطة التحجيم التلقائي

حالة المجموعة

يمكن أن تساعدك حالة نظام المجموعة المدرجة في مدخل Microsoft Azure في مراقبة أنشطة التحجيم التلقائي. يتم شرح جميع رسائل حالة نظام المجموعة التي قد تراها في القائمة.

حالة المجموعة	‏‏الوصف
نجح	نظام المجموعة تعمل بشكل طبيعي. تم إكمال جميع أنشطة التحجيم التلقائي السابقة بنجاح.
مقبول	يتم قبول عملية نظام المجموعة (على سبيل المثال: توسيع النطاق)، في انتظار اكتمال العملية.
فشل	وهذا يعني فشل عملية حالية لسبب ما، قد لا تعمل المجموعة.
تم الإلغاء	تم إلغاء العملية الحالية.

لعرض العدد الحالي للعقد في مجموعتك، انتقل إلى مخطط Cluster size في صفحة Overview للمجموعة الخاصة بك.

تاريخ العملية

يمكنك عرض سجل نظام المجموعة وتصغيره كجزء من قياسات المجموعة. يمكنك أيضا سرد جميع إجراءات التحجيم خلال اليوم أو الأسبوع الماضي أو فترة زمنية أخرى.

موارد إضافية

مقياس يدوي - Azure HDInsight على AKS