ما هي أهداف الحوسبة في Azure التعلم الآلي؟
هدف الحوسبة هو مورد أو بيئة حوسبة معينة حيث تقوم بتشغيل البرنامج النصي للتدريب أو استضافة نشر الخدمة الخاصة بك. قد يكون هذا الموقع هو جهازك المحلي أو مورد حوسبة مستند إلى مجموعة النظراء. يسهل عليك استخدام أهداف الحوسبة تغيير بيئة الحوسبة لاحقا دون الحاجة إلى تغيير التعليمات البرمجية.
في دورة حياة تطوير نموذج نموذجي، يمكنك:
- ابدأ بتطوير وتجريب كمية صغيرة من البيانات. في هذه المرحلة، استخدم بيئتك المحلية، مثل كمبيوتر محلي أو جهاز ظاهري مستند إلى مجموعة النظراء (VM)، كهدف للحوسبة.
- قم بالارتقاء إلى بيانات أكبر، أو قم بالتدريب الموزع باستخدام أحد أهداف حساب التدريب هذه.
- بعد أن يصبح النموذج جاهزا، انشره في بيئة استضافة ويب باستخدام أحد أهداف حوسبة النشر هذه.
يتم إرفاق موارد الحوسبة التي تستخدمها لأهداف الحوسبة بمساحة عمل. تتم مشاركة موارد الحوسبة بخلاف الجهاز المحلي بواسطة مستخدمي مساحة العمل.
أهداف حوسبة التدريب
يتمتع Azure التعلم الآلي بدعم متفاوت عبر أهداف الحوسبة المختلفة. تبدأ دورة حياة تطوير النموذج النموذجي بالتطوير أو التجريب على كمية صغيرة من البيانات. في هذه المرحلة، استخدم بيئة محلية مثل الكمبيوتر المحلي أو جهاز ظاهري قائم على مجموعة النظراء. أثناء توسيع نطاق التدريب على مجموعات بيانات أكبر أو إجراء تدريب موزع، استخدم Azure التعلم الآلي للحوسبة لإنشاء مجموعة أحادية أو متعددة العقد تقوم بالقياس التلقائي في كل مرة ترسل فيها تشغيلا. يمكنك أيضا إرفاق مورد الحوسبة الخاص بك، على الرغم من أن دعم سيناريوهات مختلفة قد يختلف.
يمكن إعادة استخدام أهداف الحوسبة من مهمة تدريبية إلى أخرى. على سبيل المثال، بعد إرفاق جهاز ظاهري بعيد بمساحة العمل الخاصة بك، يمكنك إعادة استخدامه لمهام متعددة. بالنسبة لخطوط أنابيب التعلم الآلي، استخدم خطوة خط الأنابيب المناسبة لكل هدف حساب.
يمكنك استخدام أي من الموارد التالية لهدف حساب التدريب لمعظم الوظائف. لا يمكن استخدام جميع الموارد للتعلم الآلي الآلي أو خطوط أنابيب التعلم الآلي أو المصمم. يمكن استخدام Azure Databricks كمورد تدريب لعمليات التشغيل المحلية وخطوط أنابيب التعلم الآلي، ولكن ليس كهدف بعيد للتدريب الآخر.
| أهداف التدريب | التعلّم الآلي التلقائي | خطوط أنابيب التعلم الآلي | مصمم التعلم الآلي من Microsoft Azure |
|---|---|---|---|
| الكمبيوتر المحلي | نعم | ||
| Azure التعلم الآلي compute cluster | نعم | نعم | نعم |
| مثيل حساب التعلم الآلي من Azure | نعم (من خلال SDK) | نعم | نعم |
| جهاز ظاهري عن بعد | نعم | نعم | |
| حمامات سباحة أباتشي سبارك (معاينة) | نعم (الوضع المحلي ل SDK فقط) | نعم | |
| Azure Databricks | نعم (الوضع المحلي ل SDK فقط) | نعم | |
| Azure Data Lake Analytics | نعم | ||
| Azure HDInsight | نعم | ||
| Azure Batch | نعم | ||
| Azure Kubernetes Service (preview) | نعم | نعم | نعم |
| Kubernetes التي تدعم Azure Arc (معاينة) | نعم | نعم | نعم |
تلميح
يحتوي مثيل الحوسبة على قرص نظام تشغيل سعة 120 جيجابايت. في حالة نفاد مساحة القرص، استخدم المحطة الطرفية لمسح 1-2 غيغابايت على الأقل قبل إيقاف مثيل الحوسبة أو إعادة تشغيله .
تعرف على المزيد حول كيفية إرسال تشغيل تدريب إلى هدف حساب.
حساب أهداف الاستدلال
عند إجراء الاستدلال، يقوم Azure التعلم الآلي بإنشاء حاوية Docker تستضيف النموذج والموارد المرتبطة به اللازمة لاستخدامه. ثم يتم استخدام هذه الحاوية في هدف حساب.
سيؤثر هدف الحوسبة الذي تستخدمه لاستضافة النموذج الخاص بك على تكلفة نقطة النهاية المنشورة وتوافرها. استخدم هذا الجدول لاختيار هدف حساب مناسب.
| هدف الحساب | يُستخدم في | دعم وحدة المعالجة الرسومية | دعم مصفوفة البوابات المنطقية القابلة للبرمجة | الوصف |
|---|---|---|---|---|
| خدمة ويب محلية | الاختبار/تصحيح الأخطاء | يستخدم للاختبار المحدود واستكشاف الأخطاء وإصلاحها. يعتمد تسريع الأجهزة على استخدام المكتبات في النظام المحلي. | ||
| خدمة Azure Kubernetes (AKS) | الاستدلال في الوقت الحقيقي موصى به لأحمال عمل الإنتاج. |
نعم (نشر خدمة الويب) | نعم | يستخدم لعمليات نشر الإنتاج على نطاق واسع. يوفر وقت استجابة سريع وتحجيم تلقائي للخدمة المنشورة. لا يتم دعم القياس التلقائي للمجموعة من خلال Azure التعلم الآلي SDK. لتغيير العقد في مجموعة AKS، استخدم واجهة المستخدم لمجموعة AKS في مدخل Azure. مدعوم في المصمم. |
| مثيلات حاويات Azure | الاستدلال في الوقت الحقيقي يوصى به لأغراض التطوير/الاختبار فقط. |
استخدم لأحمال العمل المستندة إلى وحدة المعالجة المركزية منخفضة النطاق التي تتطلب أقل من 48 غيغابايت من ذاكرة الوصول العشوائي. لا يتطلب منك إدارة مجموعة. مدعوم في المصمم. |
||
| Azure التعلم الآلي compute clusters | استدلال الدُفعة | نعم (خط أنابيب التعلم الآلي) | يُشغِّل نقاط الدُفعة على حساب بلا خادم. يدعم الأجهزة الظاهرية العادية وذات الأولوية المنخفضة. لا يوجد دعم للاستدلال في الوقت الحقيقي. | |
| Kubernetes الممكّن في Azure Arc | الاستدلال في الوقت الحقيقي استدلال الدُفعة |
نعم | غير متوفر | تشغيل أحمال عمل الاستدلال على مجموعات Kubernetes المحلية والسحابية والطرفية المدارة في Azure Arc |
ملاحظة
على الرغم من أن أهداف الحوسبة مثل المحلية وAzure التعلم الآلي مجموعات الحوسبة تدعم وحدة معالجة الرسومات للتدريب والتجريب، إلا أن استخدام وحدة معالجة الرسومات للاستدلال عند نشرها كخدمة ويب مدعوم فقط على AKS.
يتم دعم استخدام وحدة معالجة الرسومات للاستدلال عند التسجيل باستخدام خط أنابيب التعلم الآلي فقط على Azure التعلم الآلي الحوسبة.
عند اختيار SKU للمجموعة، قم أولا بتوسيع نطاقها ثم توسيعها. ابدأ بجهاز يحتوي على 150٪ من ذاكرة الوصول العشوائي التي يتطلبها طرازك ، وقم بتعريف النتيجة وابحث عن جهاز يتمتع بالأداء الذي تحتاجه. بمجرد أن تتعلم ذلك ، قم بزيادة عدد الآلات لتناسب حاجتك إلى الاستدلال المتزامن.
ملاحظة
- مثيلات الحاوية مناسبة فقط للطرز الصغيرة التي يقل حجمها عن 1 غيغابايت.
- استخدم مجموعات AKS أحادية العقدة لتطوير/اختبار الطرز الأكبر حجما.
تعرف على مكان وكيفية نشر النموذج الخاص بك إلى هدف حوسبة.
Azure التعلم الآلي compute (managed)
يتم إنشاء مورد حوسبة مدار وإدارته بواسطة Azure التعلم الآلي. تم تحسين هذه الحوسبة لأحمال عمل التعلم الآلي. Azure التعلم الآلي compute clusters and compute instances هي الحسابات المدارة الوحيدة.
يمكنك إنشاء Azure التعلم الآلي مثيلات الحوسبة أو مجموعات الحوسبة من:
- Azure التعلم الآلي studio.
- حزمة SDK الخاصة ب Python و Azure CLI:
- قالب Azure Resource Manager. للحصول على مثال على القالب، راجع إنشاء Azure التعلم الآلي مجموعة حوسبة.
- ملحق تعلم الآلة ل Azure CLI.
عند إنشائها، تكون موارد الحوسبة هذه تلقائيا جزءا من مساحة العمل الخاصة بك، على عكس الأنواع الأخرى من أهداف الحوسبة.
| الإمكانية | نظام مجموعة الحوسبة | مثيل الحساب |
|---|---|---|
| مجموعة أحادية أو متعددة العقد | ✓ | مجموعة عقدة واحدة |
| القياسات التلقائية في كل مرة ترسل فيها عملية تشغيل | ✓ | |
| الإدارة التلقائية للمجموعات وجدولة المهام | ✓ | ✓ |
| دعم كل من موارد وحدة المعالجة المركزية ووحدة معالجة الرسومات | ✓ | ✓ |
ملاحظة
عندما تكون مجموعة الحوسبة خاملة، فإنها تتدرج تلقائيا إلى 0 عقدة، لذلك لا تدفع عندما لا تكون قيد الاستخدام. مثيل الحوسبة قيد التشغيل دائما ولا يتم قياسه تلقائيا. يجب إيقاف مثيل الحوسبة عندما لا تستخدمه لتجنب التكلفة الإضافية.
سلسلة وأحجام الأجهزة الظاهرية المعتمدة
عند تحديد حجم عقدة لمورد حوسبة مدار في Azure التعلم الآلي، يمكنك الاختيار من بين أحجام VM المحددة المتوفرة في Azure. يوفر Azure مجموعة من الأحجام لنظام التشغيل Linux Windows لأحمال العمل المختلفة. لمعرفة المزيد، راجع أنواع الأجهزة الظاهرية وأحجامها.
هناك بعض الاستثناءات والتقييدات لاختيار حجم الجهاز الظاهري:
- بعض سلاسل الأجهزة الظاهرية غير مدعومة في Azure التعلم الآلي.
- يتم تقييد بعض سلاسل VM. لاستخدام سلسلة مقيدة، اتصل بالدعم واطلب زيادة الحصة النسبية للسلسلة. للحصول على معلومات حول كيفية الاتصال بالدعم، راجع خيارات دعم Azure.
راجع الجدول التالي لمعرفة المزيد حول السلاسل والقيود المدعومة.
| سلسلة VM المدعومة | القيود | الفئة | بدعم من |
|---|---|---|---|
| DDSv4 | لا شيء | الغرض العام | مجموعات الحوسبة والمثيل |
| دي في 2 | لا شيء | الغرض العام | مجموعات الحوسبة والمثيل |
| دي في 3 | لا شيء | الغرض العام | مجموعات الحوسبة والمثيل |
| DSv2 | لا شيء | الغرض العام | مجموعات الحوسبة والمثيل |
| DSv3 | لا شيء | الغرض العام | مجموعات الحوسبة والمثيل |
| إي إيه في 4 | لا شيء | الذاكرة المُحسنة | مجموعات الحوسبة والمثيل |
| Ev3 | لا شيء | الذاكرة المُحسنة | مجموعات الحوسبة والمثيل |
| ESv3 | لا شيء | الذاكرة المُحسنة | مجموعات الحوسبة والمثيل |
| FSv2 | لا شيء | حساب محسّن | مجموعات الحوسبة والمثيل |
| العملات الاجنبيه | يتطلب الموافقة. | حساب محسّن | مجموعات الحوسبة |
| H | لا شيء | الحوسبة عالية الأداء | مجموعات الحوسبة والمثيل |
| HB | يتطلب الموافقة. | الحوسبة عالية الأداء | مجموعات الحوسبة والمثيل |
| HBv2 | يتطلب الموافقة. | الحوسبة عالية الأداء | مجموعات الحوسبة والمثيل |
| HBv3 | يتطلب الموافقة. | الحوسبة عالية الأداء | مجموعات الحوسبة والمثيل |
| HC | يتطلب الموافقة. | الحوسبة عالية الأداء | مجموعات الحوسبة والمثيل |
| LSv2 | لا شيء | التخزين المُحسن | مجموعات الحوسبة والمثيل |
| M | يتطلب الموافقة. | الذاكرة المُحسنة | مجموعات الحوسبة والمثيل |
| NC | لا شيء | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NC الترويجي | لا شيء | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NCv2 | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NCv3 | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| ND | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NDv2 | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NV | لا شيء | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NVv3 | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NCasT4_v3 | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
| NDasrA100_v4 | يتطلب الموافقة. | وحدة معالجة الرسومات (GPU) | مجموعات الحوسبة والمثيل |
على الرغم من أن Azure التعلم الآلي يدعم سلسلة الأجهزة الظاهرية هذه، إلا أنها قد لا تكون متوفرة في جميع مناطق Azure. للتحقق مما إذا كانت سلسلة الأجهزة الظاهرية متوفرة، راجع المنتجات المتوفرة حسب المنطقة.
ملاحظة
لا يدعم Azure التعلم الآلي جميع أحجام الأجهزة الظاهرية التي يدعمها Azure Compute. لسرد أحجام الجهاز الظاهري المتوفرة، استخدم إحدى الطرق التالية:
في حالة استخدام أهداف الحوسبة التي تدعم وحدة معالجة الرسومات، من المهم التأكد من تثبيت برامج تشغيل CUDA الصحيحة في بيئة التدريب. استخدم الجدول التالي لتحديد إصدار CUDA الصحيح لاستخدامه:
| بنية وحدة معالجة الرسومات | Azure VM Series | إصدارات CUDA المدعومة |
|---|---|---|
| امبير | NDA100_v4 | 11.0+ |
| تورينج | NCT4_v3 | 10.0+ |
| فولتا | NCv3، NDv2 | 9.0+ |
| باسكال | NCv2, ND | 9.0+ |
| ماكسويل | NV, NVv3 | 9.0+ |
| كيبلر | NC ، NC الترويجي | 9.0+ |
بالإضافة إلى التأكد من توافق إصدار CUDA والأجهزة، تأكد أيضا من توافق إصدار CUDA مع إصدار إطار عمل التعلم الآلي الذي تستخدمه:
- بالنسبة إلى PyTorch ، يمكنك التحقق من التوافق من خلال زيارة صفحة الإصدارات السابقة من Pytorch.
- بالنسبة إلى Tensorflow ، يمكنك التحقق من التوافق من خلال زيارة بنية Tensorflow من صفحة المصدر.
حساب العزل
يوفر Azure التعلم الآلي compute أحجام VM معزولة لنوع معين من الأجهزة ومخصصة لعميل واحد. تعد أحجام الأجهزة الظاهرية المعزولة الأنسب لأحمال العمل التي تتطلب درجة عالية من العزلة عن أعباء عمل العملاء الآخرين لأسباب تشمل تلبية متطلبات الامتثال والمتطلبات التنظيمية. يضمن استخدام حجم معزول أن يكون الجهاز الظاهري الخاص بك هو الوحيد الذي يعمل على مثيل الخادم المحدد هذا.
تشمل عروض VM المعزولة الحالية ما يلي:
- Standard_M128ms
- Standard_F72s_v2
- Standard_NC24s_v3
- Standard_NC24rs_v3*
*RDMA متاح
لمعرفة المزيد حول العزل، راجع العزل في سحابة Azure العامة.
الحوسبة غير المدارة
لا تتم إدارة هدف الحوسبة غير المدار بواسطة Azure التعلم الآلي. يمكنك إنشاء هذا النوع من هدف الحوسبة خارج Azure التعلم الآلي ثم إرفاقه بمساحة العمل الخاصة بك. قد تتطلب موارد الحوسبة غير المدارة خطوات إضافية للحفاظ على الأداء أو تحسينه لأحمال عمل التعلم الآلي.
يدعم Azure التعلم الآلي أنواع الحوسبة غير المدارة التالية:
- الكمبيوتر المحلي
- الأجهزة الظاهرية عن بعد
- "Azure HDInsight"
- Azure Batch
- Azure Databricks
- Azure Data Lake Analytics
- مثيل حاوية Azure
- Azure Kubernetes Service & Azure Arc-enabled Kubernetes (preview)
لمزيد من المعلومات، راجع إعداد أهداف الحوسبة للتدريب على النماذج ونشرها
الخطوات التالية
ستتعرف على كيفية: