أباتشي سبارك واجهة المستخدم يظهر عدد خاطئ من الوظائف

مشكلة

تقوم بمراجعة عدد مهام Apache Spark النشطة على نظام مجموعة في واجهة مستخدم Spark، ولكن الرقم مرتفع جدا بحيث لا يمكن أن يكون دقيقا.

إذا قمت بإعادة تشغيل الكتلة، عدد المهام المعروضة في واجهة المستخدم Spark الصحيح في البداية، ولكن مع مرور الوقت يزداد بشكل غير طبيعي عالية.

سبب

واجهة المستخدم Spark غير دقيقة دائما للتجمعات الكبيرة أو طويلة الأمد بسبب قطرات الحدث. تتطلب واجهة المستخدم Spark إدخالات إنهاء لمعرفة متى اكتملت مهمة نشطة. إذا كانت مهمة يفتقد هذا الإدخال بسبب أخطاء أو فشل غير متوقع، قد تتوقف المهمة عن التشغيل أثناء عرض بشكل غير صحيح نشط في واجهة المستخدم Spark.

حل

يجب عدم استخدام واجهة المستخدم Spark كمصدر الحقيقة للوظائف النشطة على كتلة.

الأسلوب sc.statusTracker().getActiveJobIds() في Spark API هو طريقة موثوقة لتعقب عدد الوظائف النشطة.

الرجاء مراجعة وثائق تعقب حالة Spark للحصول على مزيد من المعلومات.