CycleCloud: المفاهيم الأساسية
في أبسط قواعده، نظام الحوسبة عالية الأداء (HPC) هو مجموعة من الموارد الحسابية المدعومة بأنظمة الملفات عالية الأداء والمترابطة بواسطة شبكات زمن الانتقال المنخفض. عادة ما تتم إدارة هذه الموارد الحسابية بواسطة HPC Schedulers، تطبيقات البرامج التي تقوم بجدولة المهام.
يمكن أن يكون بناء أنظمة HPC الفردية على Azure من وحدات البنية الأساسية مثل الأجهزة الظاهرية والأقراص وواجهات الشبكة مرهقا، خاصة إذا كانت هذه الموارد سريعة الزوال - موجودة فقط للوقت المطلوب لحل مهمة HPC في متناول اليد. بالإضافة إلى ذلك، يرغب المشغلون في إنشاء بيئات HPC متعددة منفصلة يمكن تصميمها وفقا لمختلف وحدات الأعمال أو فرق البحث أو الأفراد. يمكن أن تكون إدارة أنظمة HPC المتعددة هذه معقدة من الناحية التشغيلية.
ما هو CycleCloud؟
Azure CycleCloud هي أداة تساعد في إنشاء أنظمة HPC على Azure. وهو ينسق هذه الأنظمة بحيث تحجم بشكل مرن وفقا لمهام HPC في متناول اليد، دون متاعب إدارة كتل إنشاء Azure الأساسية. تم تصميم CycleCloud من قبل فريق من محترفي HPC ذوي الخبرة لمسؤولي HPC والمستخدمين، ولا سيما المستخدمين الذين يبحثون عن إنشاء أنظمة HPC في Azure التي تشبه البنية الأساسية HPC الداخلية التي هم على دراية بها.
من الناحية التشغيلية، CycleCloud هو خادم تطبيق مثبت في جهاز Linux ظاهري على Azure، أو على خادم محلي لديه حق الوصول إلى واجهات برمجة تطبيقات Azure والموارد. يحصل CycleCloud على أجهزة Azure الظاهرية ويزودها لإنشاء مجموعات CycleCloud التي يمكنها دمج المجدولات وتطبيقات المستخدم. يوفر CycleCloud أيضا عمليات تكامل التحجيم التلقائي لعدد من مجدولات HPC وعامل CycleCloud الذي يعمل على أجهزة Azure الظاهرية.
خادم التطبيق
يوفر خادم التطبيق هذا ما يلي:
- واجهة برمجة تطبيقات REST لإنشاء وإدارة أنظمة HPC على Azure.
- واجهة مستخدم رسومية تسمح للمستخدم بإدارة أنظمة HPC ومراقبتها.
- CLI الذي يسهل تكامل CycleCloud في مهام سير العمل الحالية.
- مخزن بيانات NoSQL داخلي يخزن نظام المجموعة وحالة العقدة مؤقتا.
- نظام تخصيص وتنسيق يحصل على أجهزة Azure الظاهرية ويديرها
- نظام مراقبة عقدة للأجهزة الظاهرية الموجودة التي تنبه إلى تغييرات الحالة.
التكاملات
يوفر CycleCloud أيضا عددا من عمليات التكامل في المجدولات الشائعة وأجهزة Azure الظاهرية. يوفر Thee ما يلي:
- نظام إعداد العقدة وتكوينها لتحويل جهاز ظاهري تم توفيره إلى عقدة HPC.
- التحجيم التلقائي لمجدولات HPC التي تترجم متطلبات مهمة مجدول HPC إلى موارد Azure.
ما الذي يمكن أن يفعله CycleCloud
يستهدف CycleCloud مشغلي HPC (المسؤولين والمستخدمين) الذين ينشرون أنظمة HPC على Azure والذين يرغبون في نسخ البنية الأساسية التي كانوا يشغلونها داخليا، من مجدول HPC إلى نقاط تحميل نظام الملفات لتثبيت التطبيق والوصول إلى البيانات. يبحث هؤلاء المستخدمون بشكل خاص في التطبيقات الداعمة ومحركات سير العمل والبنية الأساسية لبرنامج ربط العمليات التجارية الحسابية دون الحاجة إلى إعادة تشغيل عملياتهم الداخلية.
يوفر CycleCloud بناء جملة غنيا وتصريحيا ل templating يمكن المستخدمين من وصف نظام HPC الخاص بهم، من طبولوجيا نظام المجموعة (عدد وأنواع عقد نظام المجموعة)، وصولا إلى نقاط التحميل والتطبيقات التي سيتم نشرها على كل عقدة. تم تصميم CycleCloud للعمل مع مجدولات HPC مثل PBSPro وSlurm وIBM LSF و Grid Engine وHT Condor، مما يسمح للمستخدمين بإنشاء قوائم انتظار مختلفة في كل مجدول وتعيينها لحساب العقد من أحجام الأجهزة الظاهرية المختلفة على Azure. بالإضافة إلى ذلك، يتم دمج المكونات الإضافية للتحجيم التلقائي مع عقد رأس المجدول التي تستمع إلى قوائم انتظار الوظائف في كل نظام، وحجم نظام مجموعة الحوسبة وفقا لذلك عن طريق التفاعل مع واجهة برمجة تطبيقات REST للتحجيم التلقائي التي تعمل على خادم التطبيق.
بالإضافة إلى توفير وإنشاء عقد HPC، يوفر CycleCloud أيضا إطار عمل لإعداد وتكوين جهاز ظاهري، في جوهره توفير نظام لتحويل جهاز ظاهري غير موجود إلى مكون وظيفي لنظام HPC. من خلال إطار العمل هذا، يمكن للمستخدمين إجراء تكوين الميل الأخير على جهاز ظاهري.
بالإضافة إلى ذلك، يوفر CycleCloud الميزات التالية:
وصول المستخدم
يأتي CycleCloud مزودا بدعم مضمن لإنشاء حسابات مستخدمين محليين على كل عقدة من نظام HPC. باستخدام هذا النظام، يمكن التحكم في وصول المستخدم من خلال مستوى إدارة واحد دون نشر خدمة دليل.
المراقبة
يتم جمع المقاييس على مستوى العقدة وعرضها في واجهة مستخدم CycleCloud. هذه مفيدة لمراقبة الحمل على النظام، ويمكن ربطها بخدمات إعداد التقارير والتنبيه.
تسجيل الدخول
يوفر CycleCloud نظاما لأنشطة التسجيل والأحداث على مستوى العقدة وخادم التطبيق.
قابلية النقل
لا يفرض النظام استخدام صورة جهاز ظاهري أو نظام تشغيل معين. يدعم CycleCloud أنظمة تشغيل Windows وLinux الرئيسية على عقد HPC. بالإضافة إلى ذلك، يمكن للمستخدمين إنشاء صورة الجهاز الظاهري الخاصة بهم واستخدامها في نظام HPC الخاص بهم.
البنية الأساسية كتعليمات برمجية
نظرا لأن كل شيء تم إنشاؤه في CycleCloud محدد في القوالب والبرامج النصية للتكوين، فإن أنظمة HPC المنشورة من خلال CycleCloud قابلة للتكرار ومحمولة. يوفر هذا تناسق المشغلين في توزيع أنظمة HPC في بيئات مختلفة: بيئة الاختبار المعزولة والتطوير والاختبار والإنتاج. يمكن للمشغلين أيضا توزيع أنظمة HPC متطابقة لمجموعات الأعمال أو الفرق المختلفة لفصل المخاوف المحاسبية.
أحمال العمل المقترنة بشكل غير محكم أو المقترنة بإحكام
تم تصميم مجموعات HPC التي تم إنشاؤها بواسطة CycleCloud ليس فقط لدعم الوظائف المقترنة بشكل فضفاض أو المتوازية بشكل محرج حيث يكون المقياس (حجم نظام المجموعة) هو الشاغل الرئيسي. تم تصميم مجموعات CycleCloud أيضا مع وضع Infiniband العمود الفقري ل Azure في الاعتبار، مما يدعم أحمال العمل المقترنة بإحكام أو المستندة إلى MPI حيث يكون تقارب العقدة وزمن انتقال الشبكة أمرا بالغ الأهمية. هذه المفاهيم الموسعة والمقترنة بإحكام متأصلة في تكاملات المجدول التي يدعمها CycleCloud.