توضح هذه المقالة أتمتة جدولة fab وإرسالها لأحمال عمل تصنيع أشباه الموصلات على Azure. يستخدم الحل بيئة حوسبة عالية الأداء (HPC) لأداء التعلم المعزز (RL) على نطاق واسع. تعتمد البنية على minds.ai Maestro، وهي مجموعة منتجات لتصنيع أشباه الموصلات.
بناء الأنظمة
قم بتنزيل ملف PowerPoint لهذا التصميم.
سير العمل
يوفر سير العمل هذا نظرة عامة عالية المستوى على البنية المستخدمة لتدريب RL.
يتفاعل المستخدمون النهائيون مع نظام إدارة Maestro عبر واجهة برمجة تطبيقات REST التي تعمل على خدمة Azure Kubernetes (AKS). يمكنهم التفاعل مع النظام بطرق مختلفة:
- Python API
- واجهة المستخدم المستندة إلى الويب
- عميل سطر الأوامر
يقوم Maestro بجدولة مهام التدريب على مجموعة Kubernetes.
يستدعي Maestro Kubernetes لتعيين pods إلى تجمعات العقد ذات الصلة. يقوم AKS بتحجيم تجمعات العقدة لأعلى أو لأسفل حسب الحاجة. يعين Maestro pods إلى تجمعات عقدة معينة استنادا إلى تكوين يحدده المستخدم. يمكن للمستخدم تحديد:
- العقد العادية أو الموضعية.
- وحدة المعالجة المركزية أو عقد وحدة معالجة الرسومات.
يسحب Kubernetes صورة الحاوية من Azure Container Registry، استنادا إلى التكوين المحدد بواسطة Maestro، ويهيئ القرون.
أثناء التدريب، يتم تخزين النتائج في Azure Files ونظام التتبع القياسي الذي يعد جزءا من جرابات إدارة Maestro (مدعوما بجهاز تخزين إضافي). يراقب المستخدم تقدم المهمة باستخدام لوحة معلومات Maestro.
عند اكتمال التدريب، يتم دفع عامل RL إلى نظام النشر، حيث يمكن الاستعلام عنه للإجراءات. اختياريا، يمكن لخادم النشر الإبلاغ عن إحصائيات المراقبة إلى النظام الأساسي Maestro لمزيد من التحسين للعامل عبر Azure Files.
المكونات
- AKS هي خدمة تزامن حاوية مدارة تستند إلى نظام Kubernetes مفتوح المصدر. يمكنك استخدام AKS للتعامل مع الوظائف الهامة مثل نشر حاويات Docker والتطبيقات المستندة إلى الحاويات وتوسيع نطاقها وإدارتها.
- محرك Maestro (اسم التعليمات البرمجية DeepSim) يزيد من مهام سير عمل fab الحالية ويحسن واجهات برمجة تطبيقات fab شبه الموصلات مع توصيات الإرسال والجدولة المحسنة الذكاء الاصطناعي.
- توفر أجهزة Azure Spot الظاهرية سعة حساب Azure غير المستخدمة بخصم كبير. توفر الأجهزة الظاهرية الموضعية نفس أنواع الأجهزة والخيارات والأداء مثل مثيلات الحوسبة العادية.
- يتم استخدام حسابات تخزين Azure في هذه البنية لتخزين نتائج التدريب والإدخل وبيانات التكوين.
- أقراص Azure المدارة هي أجهزة تخزين كتلة دائمة عالية الأداء مصممة لاستخدامها مع أجهزة Azure الظاهرية وAzure VMware Solution.
- تتيح شبكة Azure الظاهرية لموارد Azure، مثل الأجهزة الظاهرية، الاتصال ببعضها البعض والإنترنت والشبكات المحلية عبر اتصال أمان محسن.
- توفر Azure Files مشاركات ملفات مدارة بالكامل في السحابة التي يمكن الوصول إليها عبر بروتوكولات SMB وNFS القياسية في الصناعة.
- يمكن أن يساعدك Azure Container Registry في إنشاء صور الحاوية والبيانات الاصطناعية وتخزينها ومسحها ضوئيا ونسخها نسخا متماثلا وإدارتها باستخدام مثيل مدار جغرافيا بالكامل لتوزيع OCI.
تفاصيل السيناريو
تعد نمذجة الأدوات الفعالة وطرق الجدولة والإرسال الفعالة والفعالة أمرا بالغ الأهمية للمصنعين.
للاستفادة من أحدث حلول الذكاء الاصطناعي والتعلم الآلي، تحتاج المؤسسات إلى بنية تحتية عالية الأداء قابلة للتطوير وفعالة من حيث التكلفة. قد يستغرق تنفيذ أحمال العمل المعقدة للغاية أياما لإكمالها مع البنية الأساسية المحلية. عادة ما تكون الأنظمة المحلية أقل كفاءة في استخدام الطاقة من حلول Azure.
قام شريك Microsoft minds.ai بإنشاء حل جدولة Maestro وإرساله لمساعدة شركات تصنيع أشباه الموصلات على تحسين مؤشرات الأداء الرئيسية لتكبير جدار حماية الويب.
يستخدم هذا الحل AKS لنشر التطبيقات المستندة إلى الحاوية وإدارتها وتوسيع نطاقها في بيئة نظام المجموعة. يتم استخدام واجهة برمجة تطبيقات REST لتوفير واجهة سهلة الاستخدام ل AKS. يمكنك استخدام Container Registry لإنشاء صور الحاوية وتخزينها وإدارتها مثل DeepSim. تتمتع الحاويات بقابلية نقل عالية وتزيد من خفة الحركة لسير العمل عند الطلب.
تنطبق بنية الحل الموضحة في هذه المقالة على السيناريوهات التالية.
RL لجدولة fab
يمكن أن يساعد هذا الحل مهندسي التحكم في الخطوط على تحسين وقت دورة المنتج ومعدل النقل والاستخدام وتحرير النطاق الترددي للموارد عبر الأتمتة وزيادة مهام سير العمل الحالية. يمكن أن يزيد الحل من سير العمل بوكلاء الذكاء الاصطناعي يتم تدريبهم عبر RL لمنح مهندسي fab المزيد من الرؤى والخيارات لتحسين مؤشرات الأداء الرئيسية.
يستخدم الحل RL لتدريب النماذج. يتم تدريب الحلول المنشورة، في عمليات المحاكاة، للاستجابة بسرعة لحالات fab الديناميكية. يقوم سير العمل تلقائيا بإنشاء توصيات الجدول الزمني.
في سيناريو العالم الحقيقي، وفرت الجداول الزمنية الناتجة عشرات الملايين من الدولارات في المؤسسة سنويا من خلال:
- زيادة معدل النقل بنسبة 1-2٪.
- تقليل انتهاكات وقت قائمة الانتظار الهامة بنسبة 1-2٪.
- تقليل وقت دورة المنتج الجديد بنسبة 2-7٪.
- تحسين استخدام مجموعات الأدوات الماختناقة.
- تقليل التكلفة لكل wafer.
التعلم الخاضع للإشراف لنمذجة أدوات fab
يعد الحصول على معلومات دقيقة حول الأدوات والمعدات جانبا مهما آخر من تخطيط وتشغيل fab. غالبا ما تتضمن متطلبات العمل نماذج لقياس موثوقية الأداة وإمكانية التنبؤ بها، بما في ذلك مؤشر صحة المعدات (EHI) والحياة المفيدة المتبقية (RUL).
يتضمن Maestro تطبيقات لتدريب نماذج EHI وRUL. يتم استخدام البيانات التاريخية التي تعد جزءا من نظام تسجيل fab لتدريب النماذج. يعمل جهاز Azure GPU على تسريع هذه العملية. يتم استخدام النماذج الناتجة للجدولة المدركة للمخاطر لتحسين الإنتاجية والعائد والصيانة الوقائية وتحسين EHI بشكل كبير.
حالات الاستخدام المحتملة
تنطبق هذه البنية أيضا على الصناعات التالية، حيث تستخدم حلول التحكم والجدولة المتقدمة عادة:
- الصناعة 4.0
- السفر والنقل (تطوير التطبيقات)
- فارما والرعاية الصحية
- التحكم في الطاقة المتجددة وتصميم المواقع متعددة المتغيرات
الاعتبارات
تطبق هذه الاعتبارات ركائز إطار العمل جيد التصميم في Azure، وهي مجموعة من المبادئ التوجيهية التي يمكنك استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.
الموثوقيه
تضمن الموثوقية أن التطبيق الخاص بك يمكنه الوفاء بالالتزامات التي قطعتها على عملائك. لمزيد من المعلومات، يرجى مراجعة نظرة عامة على ركيزة الموثوقية.
يتم نشر حلول minds.ai في بعض العمليات الأكثر تعقيدا وأهمية في العالم لإنتاج الرقائق والطاقة، لذا فإن الموثوقية ضرورية. على النظام الأساسي Azure، يمكنك الحفاظ على بيئات التشغيل الخاصة بك مستقرة باستخدام مناطق التوفر ومجموعات التوفر والتخزين المتكرر جغرافيا واسترداد موقع Azure. إذا تم الكشف عن مشكلات، يقوم النظام تلقائيا بإعادة تشغيل جزء من بيئة الحوسبة وإعادة تشغيل عملية التدريب. تساعد هذه الإمكانية على ضمان حصولك على وكيل مدرب أو نموذج شبكة عصبية ضمن الإطار الزمني المتوقع.
يزيد هذا النظام من حلولك الحالية، بحيث يمكنك دائما الرجوع إلى تلك الحلول.
Security
ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. للمزيد من المعلومات، يرجى الرجوع إلى نظرة عامة على ركيزة الأمان.
يتم نشر هذا الحل كحل مستأجر واحد. يبقى التحكم الوحيد في البرامج والبيانات ومحاكاة العمليات معك.
توفر AKS التحكم في الوصول استنادا إلى الدور (RBAC)، مما يساعدك على التأكد من أن المهندسين يمكنهم الوصول فقط إلى المعلومات التي يحتاجونها للقيام بعملهم.
لمزيد من المعلومات حول خيارات أمان الشبكة، راجع تأمين نسبة استخدام الشبكة بين القرون باستخدام نهج الشبكة في AKS.
تحسين التكلفة
يتعلق تحسين التكلفة بخفض النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.
يمكن أن تعمل عمليات تشغيل التدريب Maestro بطريقة قابلة للمقاطعة، ما يتيح خيارين:
- تقلل الأجهزة الظاهرية الموضعية التكاليف ولكنها تزيد من فرصة الحصول على وظائف تستغرق وقتا أكبر للانتهاء بسبب الانقطاعات.
- تزيد المثيلات المحجوزة من التكاليف ولكنها تستخدم موارد حساب مخصصة تؤدي إلى أوقات تشغيل يمكن التنبؤ بها.
يمكنك استخدام Spot Virtual Machines للاستفادة من سعة Azure غير المستخدمة لتحقيق وفورات كبيرة في التكاليف. إذا كان Azure يحتاج إلى استعادة السعة، فإنه يخلي الأجهزة الظاهرية الموضعية، ويبدأ برنامج minds.ai تلقائيا مثيلات جديدة ويستأنف عملية التدريب.
لا توجد تكاليف مرتبطة بنشر AKS وإدارتها وعمليات مجموعة Kubernetes. تدفع فقط لمثيلات الجهاز الظاهري والتخزين وموارد الشبكات التي يستهلكها نظام مجموعة Kubernetes. يتم استخدام ملفات Azure لتخزين البيانات على المدى الطويل. نظرا لأن جميع البيانات تبقى في السحابة، يتم تقليل رسوم النطاق الترددي لنقل البيانات.
فيما يلي بعض التفاصيل حول حالات استخدام وحدة المعالجة المركزية وGPU.
حالة استخدام وحدة المعالجة المركزية: يتم استخدام 10 عوامل RL تعمل لمدة شهر على 20 عقدة، مع 120 ذاكرة أساسية لوحدة المعالجة المركزية لكل عقدة، مع وقت حساب 360 ساعة (2400 ذاكرة أساسية لوحدة المعالجة المركزية).
لتوفير ما يصل إلى 83٪ من التكلفة، استخدم Azure Spot Virtual Machines.
فئة الخدمة نوع الخدمة الوصف Compute الأجهزة الظاهرية جهاز ظاهري واحد Standard_HB120rs_v3 (120 نواة، 448 جيبي بايت من ذاكرة الوصول العشوائي) Compute الأجهزة الظاهرية جهاز ظاهري واحد Standard_B8ms (8 ذاكرات أساسية، 32 جيبي بايت من ذاكرة الوصول العشوائي) التخزين حسابات التخزين تخزين الملفات، مستوى الأداء المتميز التخزين حسابات التخزين الأقراص المدارة، Premium SSD، نوع قرص P4، قرص واحد الحاويات Container Registry سجل واحد Compute الأجهزة الظاهرية 20 جهازا ظاهريا Standard_HB120rs_v3 (120 نواة، 448 جيبي بايت من ذاكرة الوصول العشوائي) حالة استخدام وحدة معالجة الرسومات: يتم استخدام التعلم الخاضع للإشراف ل 10 مهام تدريب للشبكة العصبية تعمل لمدة شهر على 16 عقدة، مع وحدة معالجة الرسومات واحدة لكل عقدة، مع وقت حساب يبلغ 360 ساعة (16 وحدة معالجة الرسومات).
لتوفير ما يصل إلى 52٪ من التكلفة، استخدم Azure Spot Virtual Machines.
فئة الخدمة نوع الخدمة الوصف Compute الأجهزة الظاهرية جهاز ظاهري واحد Standard_HB120_rs v3 (120 نواة، 448 جيبي بايت من ذاكرة الوصول العشوائي) Compute الأجهزة الظاهرية جهاز ظاهري واحد Standard_B8ms (8 ذاكرات أساسية، 32 جيبي بايت من ذاكرة الوصول العشوائي) التخزين حسابات التخزين تخزين الملفات، مستوى الأداء المتميز التخزين حسابات التخزين الأقراص المدارة، Premium SSD، نوع قرص P4، قرص واحد الحاويات Container Registry سجل واحد Compute الأجهزة الظاهرية 16 Standard_NC6s_v3 VMs (6 وحدات vCPUs، 112 جيبي بايت من ذاكرة الوصول العشوائي)
لتقدير التكاليف لمؤسستك، استخدم حاسبة تسعير Azure.
كفاءة الأداء
كفاءة الأداء هي قدرة حِمل العمل خاصتك على التوسع لتلبية المتطلبات المفروضة عليه بطريقة فعالة. لمزيد من المعلومات، يرجى مراجعةأنماط كفاءة الأداء.
تستخدم هذه البنية الأجهزة الظاهرية من سلسلة HBv3 مع وحدات معالجة مركزية ل AMD للتعلم المعزز والأجهزة الظاهرية من سلسلة NCv3 مع وحدات معالجة الرسومات NVIDIA للتعلم الخاضع للإشراف.
تحتوي الأجهزة الظاهرية من سلسلة HBv3 على معالجات كثيفة الحوسبة وذاكرة ذات نطاق ترددي عال مناسبة تماما للتعلم المعزز. يمكنك استخدامها في تكوينات نظام المجموعة متعددة العقد لتحقيق أداء قابل للتطوير.
تحتوي الأجهزة الظاهرية من سلسلة NCv3 على معالجات مسرعة بوحدة معالجة الرسومات كثيفة الحوسبة مناسبة تماما لمتطلبات التعلم الخاضع للإشراف. يمكنهم استخدام قدرات GPU متعددة لتحقيق أداء قابل للتطوير.
لمزيد من المعلومات، راجع خيارات التحجيم للتطبيقات على AKS.
المساهمون
تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.
الكتاب الرئيسيون:
- كالاسيلفان بالارامان | مهندس حلول السحابة
- مهابوب باشا R | مهندس حلول السحابة
- جيرون بيدورف | كبير المهندسين المعماريين
- Thomas Soule | Business Development Manager
مساهمون آخرون:
- مايكل ألبرتس | كاتب تقني
- هاري باجودو | مدير أول
- جوهار جوناركار | مدير البرنامج الأساسي
- ساشين راستوغي | قائد البرنامج
لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.
الخطوات التالية
- ما هي AKS؟
- الأجهزة الظاهرية في Azure
- استخدام أجهزة Azure Spot الظاهرية
- مقدمة إلى Azure Storage
- ما هي Azure Virtual Network؟
- مثيلات جهاز ظاهري قادرة على RDMA
- خيارات تكوين نظام مجموعة HPC
- وصف منتج DeepSim
- حلول أشباه الموصلات minds.ai
- منصة تدريب DeepSim
- تعمل Vestas على شحن نماذج التحكم بمزرعة الرياح الخاصة بها للحصول على الطاقة المستدامة باستخدام Azure HPC