كيفية عمل Azure HPC
هناك أربعة مكونات رئيسية لنظام HPC: الحوسبة والتخزين والشبكات والتصور.
Compute
يتم تقديم موارد الحوسبة عالية الأداء على نطاق غير محدود تقريبا على Azure. يمكنك استخدام سلسلة H وسلسلة N وCray المختلفة للذاكرة والرسومات والتطبيقات المدارة.
- الأجهزة الظاهرية من السلسلة H للتطبيقات المرتبطة بالذاكرة
- الأجهزة الظاهرية من السلسلة N للتطبيقات المستندة إلى الرسومات والمستندة إلى CUDA/OpenCL
- Cray لأجهزة كمبيوتر عملاق مخصصة ومخصصة بالكامل يتم تسليمها كخدمة مدارة
التخزين
يتوفر التخزين السحابي الآمن للغاية للعملاء على نطاق واسع. يسمح لتطبيقات HPC باستخدامه بكفاءة، وتخصيص إما مع HPC Cache أو ملفات Azure NetApp أو Cray ClusterSor.
- اندفاع تطبيقات HPC إلى Azure باستخدام البيانات المخزنة في أجهزة NAS المحلية باستخدام HPC Cache.
- الوصول إلى كميات كبيرة من الإدخال/الإخراج مع زمن انتقال أقل من ميلي ثانية باستخدام Azure NetApp Files، التي يتم تسليمها كخدمة Azure في الأصل داخل مركز بيانات Azure.
- للحصول على حل تخزين عالي الإنتاجية، استخدم Cray ClusterSor، وهو حل تخزين HPC قائم على Lustre ومجرد المعدن متكامل تماما مع Azure.
الشبكات
يسمح لك Azure بإنشاء شبكات ظاهرية خاصة في السحابة، ما يبسط بنية الشبكة ويؤمن الاتصال بين نقاط النهاية عن طريق تعطيل تعرض البيانات للإنترنت العام.
- إنشاء أنفاق خاصة وآمنة للاتصال السحابي المختلط باستخدام Azure ExpressRoute.
- استفد من الوصول المباشر إلى ذاكرة Linux عن بعد (RDMA) باستخدام InfiniBand لأحمال عمل واجهة تمرير الرسائل (MPI) داخل مركز البيانات الخاص بك.
الرسوم المرئية
تشغيل أحمال عمل التصور باستخدام HPC وأجهزة Azure الظاهرية التي تعزز الإنتاجية، وتقلل التكاليف، ولها عمليات نشر مرنة.
- تصور بيانات المحاكاة وتشغيل سيناريوهات الدفق والألعاب والترميز وVDI على الأجهزة الظاهرية (VMs) التي تعمل بسلسلة Azure NV التي تعمل بوحدة معالجة الرسومات.
- بالنسبة لتطبيقات الرسومات الأكثر تطرفا التي يتم تسريعها باستخدام GPU، مثل نمذجة CAD ثلاثية الأبعاد، والعرض ثلاثي الأبعاد، والتصور العلمي، استخدم الأجهزة الظاهرية ذات السلسلة NVv3 عالية الأداء.
- تدعم الأجهزة الظاهرية NVv3 التخزين المتميز وتأتي مع ضعف ذاكرة النظام (RAM) مثل الأجهزة الظاهرية NV السابقة.
تعيين Azure VM ومنتجات التخزين إلى مكونات في نظام HPC
Azure Compute Virtual Machine Solutions
الأجهزة الظاهرية ذات زمن انتقال منخفض (وحدات HPC SKU)
الأجهزة الظاهرية التالية من السلسلة H والسلسلة N قادرة على RDMA ويمكنها الاتصال عبر زمن الانتقال المنخفض وشبكة InfiniBand ذات النطاق الترددي العالي. تُعدّ إمكانية RDMA على مثل هذا الاتصال المتداخل أمراً مهماً لتعزيز قابلية توسع أحمال عمل الحوسبة عالية الأداء وأحمال عمل الذكاء الاصطناعي ذات العقدة الموزّعة وتعزيز أدائها.
الأجهزة الظاهرية ذات المسرعات
| وحده المعالجه المركزيه | GP-GPU | Visual |
|---|---|---|
| تم تحسين الأجهزة الظاهرية من سلسلة HB للتطبيقات كثيفة الذاكرة، مثل ديناميكيات السوائل وتحليل العناصر المحدودة الصريحة ونمذجة الطقس. يتم تحسين الأجهزة الظاهرية من السلسلة HC للتطبيقات التي يتم حسابها بشكل مكثف، مثل الديناميكيات الجزيئية وتحليل العناصر المحدودة الضمنية والكيمياء الحسابية. |
يتم تشغيل الأجهزة الظاهرية من سلسلة NC بواسطة بطاقة NVIDIA Tesla K80 ومعالج Intel Xeon E5-2690 v3 (Haswell). يمكن للمستخدمين التنقل عبر البيانات بشكل أسرع باستخدام CUDA لتطبيقات استكشاف الطاقة، ومحاكاة الأعطال، وعرض تتبع الأشعة، والتعلم العميق، والمزيد. تعد الأجهزة الظاهرية من سلسلة ND إضافة جديدة إلى عائلة GPU المصممة الذكاء الاصطناعي وأحمال عمل التعلم العميق. يوفر تكوينا مع شبكة ثانوية ذات زمن انتقال منخفض ومعدل نقل عال من خلال RDMA، ويتيح اتصال InfiniBand تشغيل مهام التدريب واسعة النطاق التي تغطي العديد من وحدات معالجة الرسومات. |
يتم إنشاء أجهزة ظاهرية من سلسلة NV للتطبيقات المسرعة لسطح المكتب وأجهزة سطح المكتب الظاهرية حيث يتمكن العملاء من تصور بياناتهم أو عمليات المحاكاة الخاصة بهم. تمكين المستخدمين من تصور مهام سير العمل المكثفة للرسومات الخاصة بهم على مثيلات NV للحصول على قدرة رسومات متفوقة وتشغيل أحمال عمل دقيقة واحدة مثل الترميز والعرض. |
حلول تخزين Azure
مخزن البيانات الثنائية كبيرة الحجم لـ Azure
يسمح بتخزين عناصر قابل للتطوير وآمن على نطاق واسع لأحمال العمل الأصلية على السحابة والمحفوظات ومستودعات البيانات والحوسبة عالية الأداء والتعلم الآلي. إنه قابل للتطوير ومحسن لمستودعات البيانات مع إدارة البيانات الشاملة.
تتضمن ميزات التصميم الرئيسية ما يلي:
- تقديم الصور أو المستندات مباشرة إلى متصفح ما.
- تخزين الملفات من أجل الوصول الموزَّع.
- دفق الفيديو والصوت.
- الكتابة لتسجيل الملفات.
- تخزين البيانات للنسخ الاحتياطي والاستعادة، واستعادة البيانات بعد عطل فادح، والأرشفة.
- تخزين البيانات للتحليل من قبل خدمة محلية أو خدمة مستضافة على Azure.
Azure NetApp Files
يسهل على محترفي خط الأعمال والتخزين ترحيل التطبيقات المعقدة المستندة إلى الملفات وتشغيلها دون تغيير في التعليمات البرمجية. يتم استخدامه كخدمة تخزين الملفات المشتركة الأساسية في سيناريوهات مختلفة مثل ترحيل الرفع والتحويل لتطبيقات Linux وWindows المتوافقة مع POSIX وSAP HANA وقواعد البيانات وتطبيقات الويب للمؤسسات.
تشمل تلك المزايا:
- توفر بنسبة 99.99٪، عالية الأداء، آمنة.
- خدمة PaaS - سهلة الاستخدام والإدارة.
- توسيع النطاق عبر الإنترنت لأعلى/لأسفل الحجم و/أو مستويات الخدمة.
- حماية البيانات باستخدام النسخ المتماثل عبر المناطق.
- ميزات إدارة بيانات المؤسسة المتقدمة.
ملفات Azure
تقدم Azure Files مشاركات الملفات المُدارة بالكامل في السحابة والتي يمكن الوصول إليها عبر معيار الصناعة بروتوكول Server Message Block (SMB) أو بروتوكول نظام ملفات الشبكة (NFS).
- يمكن تحميلها بشكل متزامن في عمليات النشر السحابية أو المحلية.
- يمكن الوصول إلى مشاركات ملفات Azure SMB من عملاء Windows وLinux وmacOS.
- يمكن الوصول إلى مشاركات ملفات Azure NFS من عملاء Linux أو macOS.
- أيضا، يمكن تخزين مشاركات ملفات Azure SMB مؤقتا على خوادم Windows مع Azure File Sync للوصول السريع بالقرب من مكان استخدام البيانات.
مفيد ل:
- استبدال خوادم الملفات المحلية أو استكمالها.
- رفع التطبيقات وتحويلها.
- تبسيط تطوير السحابة.
- الحاويات.
تشمل تلك المزايا:
- الوصول المشترك
- مدارة بالكامل
- البرمجة النصية والأدوات
- مرونة
- قابلية البرمجة المألوفة
Azure HPC Cache
تقوم Azure HPC Cacheبتسريع الوصول إلى بياناتك من أجل مهام الحوسبة عالية الأداء (HPC).
- من خلال تخزين الملفات مؤقتاً في Azure، يجلب Azure HPC Cache قابلية التوسع للحوسبة السحابية إلى سير عملك الحالي.
- يمكن استخدامها حتى لسير العمل حيث يتم تخزين بياناتك عبر ارتباطات WAN، كما هو الحال في بيئة التخزين المحلية المتصلة بشبكة مركز البيانات (NAS).
متى تستخدم:
- سير عمل الوصول إلى الملفات كثيف القراءة.
- البيانات المخزنة في التخزين الذي يمكن الوصول إليه بواسطة NFS أو Azure Blob أو كليهما.
- حساب مزارع تصل إلى 75,000 نواة وحدة المعالجة المركزية.
تشمل تلك المزايا:
- سهولة التشغيل والمراقبة من مدخل Microsoft Azure. يمكن أن يصبح تخزين NFS الحالي أو حاويات Blob الجديدة جزءاً من مساحة الاسم المجمعة، مما يجعل وصول العميل بسيطاً حتى إذا قمت بتغيير هدف التخزين الخلفي.
- أداء عال مع معدل نقل يصل إلى 8 غيغابايت/ثانية، ما يقلل من زمن الانتقال لأحمال العمل القابلة للتخزين المؤقت.
- قابل للتطوير لتلبية الطلب المتغير على الحوسبة.
- تجمع مساحة الاسم المجمعة بين مصادر ملفات متعددة.
أنظمة الملفات المستندة إلى الجهاز الظاهري
VM NAS واحد
- يساعدك التخزين المتصل بالشبكة (NAS) المستند إلى السحابة على تلبية احتياجات التخزين في السحابة باستخدام نفس بنيات نظام NAS المحلي.
- يمنح المؤسسات مساحة تخزين ذات أداء مثل NAS المحلي الخاص بها مع القدرة المضافة على التوسع في السحابة - وكل ذلك دون الحاجة إلى إجراء تغييرات رئيسية على واجهات التطبيق والعمليات الحالية الخاصة بها.
- NAS هو جهاز تخزين مركزي يسمح للتطبيقات والخدمات بالوصول إلى البيانات من موقع مركزي في الشبكة.
- NAS الظاهري هو إصدار الجهاز الظاهري لأنظمة NAS التي يمكن تشغيلها على الأنظمة الأساسية الظاهرية مثل VMware وHyper-V وما إلى ذلك.
تشمل تلك المزايا:
- يمكن لأجهزة الشبكة التي تصل إلى تخزين Virtual NAS الاستمرار في القيام بذلك باستخدام نفس البروتوكولات دون أي إعادة تكوين.
- كما أن إدارة السعة أسهل نظرا لأنه يمكن تخصيص أي تخزين مطلوب من طبقة الظاهرية الأساسية.
أنظمة الملفات المتوازية متعددة العقد
- تقوم أنظمة الملفات المتوازية بتوزيع تخزين على مستوى الكتلة عبر عقد تخزين متعددة على الشبكة.
- تنتشر بيانات الملفات بين هذه العقد، ما يعني أن بيانات الملف تنتشر بين أجهزة تخزين متعددة. تجمع أي طلبات إدخال/إخراج تخزين فردية عبر عقد تخزين متعددة يمكن الوصول إليها من خلال مساحة اسم مشتركة.
- يتم استخدام أجهزة تخزين متعددة ومسارات متعددة للبيانات لتوفير درجة عالية من التوازي، ما يقلل من الاختناقات المفروضة من خلال الوصول إلى عقدة واحدة فقط في كل مرة.
- يتم تقسيم أنظمة الملفات المتوازية إلى قطعتين رئيسيتين:
- خدمات بيانات التعريف - تخزين بيانات تعريف مساحة الاسم، مثل أسماء الملفات والدلائل وأذونات الوصول وتخطيط الملف. استنادا إلى نظام الملفات المتوازي، يتم توفير خدمات بيانات التعريف كجزء متكامل من توزيع عقدة التخزين الكلي أو من خلال نظام مجموعة خادم منفصل.
- تخزين الكائن - يحتوي تخزين الكائن على بيانات الملف الفعلية. يسحب العملاء موقع الملفات والدلائل من خدمات بيانات التعريف، ثم الوصول إلى تخزين الملفات مباشرة.
- تجعل مزايا التخزين الموزع وأداء الإدخال/الإخراج المتفوق أنظمة الملفات المتوازية مفضلة على NFS في معظم سيناريوهات HPC، خاصة عندما يتعلق الأمر بمساحة تخزين العمل المشتركة.
Cray ClusterStor
يعد Cray ClusterStor في نظام تخزين Azure حلا عالي السعة ومساحة تخزين عالية الإنتاجية لتسريع عمليات محاكاة HPC.
إنه جهاز بلا نظام تشغيل مدمج بالكامل في نسيج Azure ويمكن الوصول إليه من خلال مجموعة كبيرة من خدمات Azure الأخرى.
يقدم Cray ClusterStor في Azure بيئة HPC مستندة إلى Lustre ومستأجر واحد ومعدنية وبيئة HPC مدارة بالكامل في Microsoft Azure.
تشمل تلك المزايا:
- يمكن استخدامها مع Cray XC وCS series supercomputers كما يدعم الآن معالجة البيانات لوظائف HPC المنفذة على الأجهزة الظاهرية من سلسلة H من Azure.
- يمكن نقل بياناتك داخل Azure من الصفر عالي الأداء، إلى تخزين Azure blob الدافئ وتخزين الأرشيف البارد.
- احصل على إمكانية الوصول إلى الأداء العالي والسعة أثناء المحاكاة. انقل بيانات ما بعد المحاكاة إلى حل تخزين سحابي زائد عن الحاجة وأقل تكلفة، إما ليتم توزيعها بسهولة أو إتاحتها للمحاكاة التالية.
- تمكن أكثر من ثلاثة أضعاف معدل النقل بالجيجابايت/ثانية لكل خوادم تخزين كائن Lustre (OSS) من عرض Lustre المتوفر حاليا.