Share via

إدارة تكوين Apache Flink® في HDInsight على AKS

  • مقالة

هام

هذه الميزة في وضع المعاينة حاليًا. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure المزيد من الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو قيد المعاينة أو التي لم يتم إصدارها بعد في التوفر العام. للحصول على معلومات حول هذه المعاينة المحددة، راجع معلومات معاينة Azure HDInsight على AKS. للأسئلة أو اقتراحات الميزات، يرجى إرسال طلب على AskHDInsight مع التفاصيل ومتابعتنا لمزيد من التحديثات على مجتمع Azure HDInsight.

يوفر HDInsight على AKS مجموعة من التكوينات الافتراضية ل Apache Flink لمعظم الخصائص وعدد قليل استنادا إلى ملفات تعريف التطبيقات الشائعة. ومع ذلك، في حالة مطالبتك بتعديل خصائص تكوين Flink لتحسين الأداء لتطبيقات معينة باستخدام الحالة أو التوازي أو إعدادات الذاكرة، يمكنك تغيير تكوين مهمة Flink باستخدام Flink Jobs Section في HDInsight على نظام مجموعة AKS.

  1. انتقل إلى الإعدادات > مهام Flink > انقر فوق تحديث.

    لقطة شاشة تعرض صفحة التحديث.

  2. انقر فوق + إضافة صف لتحرير التكوين.

    لقطة شاشة لمهمة التحديث.

    هنا يتم تغيير الفاصل الزمني لنقطة التحقق على مستوى نظام المجموعة.

  3. قم بتحديث التغييرات بالنقر فوق موافق ثم حفظ.

  4. بمجرد الحفظ، يتم تحديث التكوينات الجديدة في بضع دقائق (~5 دقائق).

  5. التكوينات، التي يمكن تحديثها باستخدام الإعدادات إدارة التكوين.

    processMemory size:

  6. ستكون الإعدادات الافتراضية لحجم ذاكرة العملية أو مدير الوظيفة ومدير المهام هي الذاكرة التي قام المستخدم بتكوينها أثناء إنشاء نظام المجموعة.

  7. يمكن تكوين هذا الحجم باستخدام خاصية التكوين أدناه. لتغيير ذاكرة معالجة مدير المهام، استخدم هذا التكوين.

    taskmanager.memory.process.size : <value>

    مثال: taskmanager.memory.process.size : 2000mb

  8. لمدير الوظيفة

    jobmanager.memory.process.size : <value>

    إشعار

    الحد الأقصى لذاكرة العملية القابلة للتكوين يساوي الذاكرة التي تم تكوينها ل jobmanager/taskmanager.

الفاصل الزمني لنقطة التحقق

يحدد الفاصل الزمني لنقطة التحقق عدد المرات التي يقوم فيها Flink بتشغيل نقطة تحقق. معرف بالمللي ثانية ويمكن تعيينه باستخدام خاصية التكوين التالية

execution.checkpoint.interval: <value>

الإعداد الافتراضي هو 60000 مللي ثانية (دقيقة واحدة)، يمكن تغيير هذه القيمة حسب الرغبة.

الواجهة الخلفية للحالة

تحدد الواجهة الخلفية للحالة كيفية إدارة Flink لحالة التطبيق الخاص بك واستمرارها. يؤثر على كيفية تخزين نقاط التحقق. يمكنك تكوين الواجهة الخلفية للحالة باستخدام الخاصية التالية:

state.backend: <value>

بشكل افتراضي، تستخدم مجموعات Apache Flink في HDInsight على AKS Rocks DB.

مسار تخزين نقطة التحقق

نسمح بنقاط التحقق الدائمة بشكل افتراضي عن طريق تخزين نقاط التحقق في abfs التخزين كما تم تكوينها من قبل المستخدم. حتى إذا فشلت المهمة، نظرا لاستمرار نقاط التفتيش، يمكن أن تبدأ بسهولة بأحدث نقطة تفتيش.

state.checkpoints.dir: <path> استبدل <path> بالمسار المطلوب حيث تم تخزين نقاط التحقق.

بشكل افتراضي، يتم تخزينه في حساب التخزين (ABFS)، الذي تم تكوينه بواسطة المستخدم. يمكن تغيير هذه القيمة إلى أي مسار مطلوب طالما يمكن لوحدات Flink الوصول إليها.

الحد الأقصى لنقاط التحقق المتزامنة

يمكنك تحديد الحد الأقصى لعدد نقاط التحقق المتزامنة عن طريق تعيين الخاصية التالية: checkpoint.max-concurrent-checkpoints: <value>

استبدل <value> بالعدد الأقصى المطلوب من نقاط التحقق المتزامنة. على سبيل المثال، 1 للسماح بنقطة تفتيش واحدة فقط في كل مرة.

الحد الأقصى لنقاط التحقق التي تم الاحتفاظ بها

يمكنك تحديد الحد الأقصى لعدد نقاط التحقق التي سيتم الاحتفاظ بها عن طريق تعيين الخاصية التالية: state.checkpoints.num-retained: <value> استبدل <value> بالرقم الأقصى المطلوب. بشكل افتراضي، نحتفظ بخمس نقاط تحقق كحد أقصى.

مسار تخزين Savepoint

نسمح بنقاط الحفظ الثابتة بشكل افتراضي عن طريق تخزين نقاط الحفظ في abfs التخزين (كما تم تكوينها من قبل المستخدم). إذا أراد المستخدم إيقاف المهمة وبدءها لاحقا بنقطة حفظ معينة، فيمكنه تكوين هذا الموقع. state.checkpoints.dir: <path> استبدل <path> بالمسار المطلوب حيث تم تخزين نقاط الحفظ. بشكل افتراضي، يتم تخزينه في حساب التخزين، الذي تم تكوينه بواسطة المستخدم. (ندعم ABFS). يمكن تغيير هذه القيمة إلى أي مسار مطلوب طالما يمكن لوحدات Flink الوصول إليها.

قابلية وصول عالية لمدير الوظائف

في HDInsight على AKS، يستخدم Flink Kubernetes كواجهة خلفية. حتى إذا فشل مدير الوظيفة بين بسبب أي مشكلة معروفة/غير معروفة، تتم إعادة تشغيل الجراب في غضون ثوان قليلة. ومن ثم، حتى إذا تمت إعادة تشغيل المهمة بسبب هذه المشكلة، يتم استرداد الوظيفة مرة أخرى من أحدث نقطة تحقق.

الأسئلة المتداولة

لماذا فشل الوظيفة بينهما. حتى إذا فشلت المهام فجأة، إذا كانت نقاط التحقق تحدث بشكل مستمر، تتم إعادة تشغيل المهمة بشكل افتراضي من أحدث نقطة تحقق.

هل تغير استراتيجية الوظيفة بينهما؟ هناك حالات استخدام، حيث يجب تعديل الوظيفة أثناء الإنتاج بسبب خطأ في مستوى الوظيفة. خلال ذلك الوقت، يمكن للمستخدم إيقاف المهمة، والتي قد تأخذ تلقائيا نقطة حفظ وحفظها في موقع نقطة الحفظ.

  1. انقر فوق savepoint وانتظر savepoint حتى يكتمل.

    لقطة شاشة تعرض خيارات نقطة الحفظ.

  2. بعد اكتمال نقطة الحفظ، انقر فوق البدء وستظهر علامة تبويب بدء المهمة. حدد اسم نقطة الحفظ من القائمة المنسدلة. تحرير أي تكوينات إذا لزم الأمر. وانقر فوق موافق.

    لقطة شاشة توضح كيفية بدء المهمة.

نظرا لتوفير نقطة الحفظ في المهمة، يعرف Flink من أين تبدأ معالجة البيانات.

المرجع