ما هي أهداف الحوسبة في التعلم الآلي من Azure؟
هدف الحوسبة هو مورد أو بيئة مخصصة للحوسبة حيث تقوم بتشغيل البرنامج النصي للتدريب أو استضافة توزيع الخدمة. قد يكون هذا الموقع جهازك المحلي أو مورد حوسبة مستند إلى السحابة. يؤدي استخدام أهداف الحوسبة إلى تسهيل تغيير بيئة الحوسبة لاحقا دون الحاجة إلى تغيير التعليمات البرمجية خاصتك.
يقدم التعلم الآلي من Azure دعمًا متباينًا عبر أهداف الحوسبة المختلفة. في دورة تطوير النموذج النموذجية، يمكنك:
- ابدأ بتطوير واختبار كمية صغيرة من البيانات. في هذه المرحلة، استخدم بيئتك المحلية، مثل كمبيوتر محلي أو جهاز ظاهري قائم على السحابة (VM)، كهدف حوسبة.
- توسيع نطاق البيانات إلى بيانات أكبر، أو القيام بالتدريب الموزع باستخدام أحد أهداف حوسبة التدريب هذه.
- بعد أن يكون النموذج الخاص بك جاهزا، قم بتوزيعه في بيئة استضافة ويب مع أحد أهداف حوسبة التوزيع هذه.
يتم إرفاق موارد الحوسبة التي تستخدمها لأهداف الحوسبة بمساحة عمل. تتم مشاركة موارد الحوسبة بخلاف الجهاز المحلي من قبل مستخدمي مساحة العمل.
أهداف حوسبة التدريب
خلال توسيع نطاق التدريب الخاص بك على مجموعات بيانات أكبر أو إجراء تدريب موزع، استخدم التعلم الآلي من Azure الحوسبة لإنشاء مجموعة أحادية أو متعددة النقط بالتحجيم التلقائي في كل مرة تقوم فيها بإرسال عملية تشغيل. يمكنك أيضا إرفاق مورد الحوسبة الخاص بك، على الرغم من أن الدعم لسيناريوهات مختلفة قد يختلف.
يمكن إعادة استخدام أهداف الحوسبة من مهمة تدريب إلى أخرى. على سبيل المثال، بعد إرفاق جهاز ظاهري بعيد إلى مساحة العمل الخاصة بك، يمكنك إعادة استخدامه لوظائف متعددة. بالنسبة إلى مسارات التعلم الآلي، استخدم خطوة المسار المناسبة لكل هدف حوسبة.
يمكنك استخدام أي من الموارد التالية لهدف حوسبة التدريب لمعظم المهام. لا يمكن استخدام جميع الموارد للتعلم الآلي التلقائي أو مسارات التعلم الآلي أو المصمم. يمكن استخدام Azure Databricks كمورد تدريب لعمليات التشغيل المحلية وتدفقات التعلم الآلي، ولكن ليس كهدف بعيد للتدريب الآخر.
| أهداف التدريب | التعلم الآلي التلقائي | مسارات التعلم الآلي | مصمم التعلم الآلي من Microsoft Azure |
|---|---|---|---|
| الكمبيوتر المحلي | نعم | ||
| نظام مجموعة حساب التعلم الآلي من Azure | نعم | نعم | نعم |
| حساب Azure التعلم الآلي بلا خادم | نعم | نعم | نعم |
| مثيل حساب التعلم الآلي من Azure | نعم (من خلال SDK) | نعم | نعم |
| نماذج التعلم الآلي من Azure | نعم | نعم | |
| الجهاز الظاهري البعيد | نعم | نعم | |
| مجموعات Apache Spark (معاينة) | نعم (الوضع المحلي لـ SDK فقط) | نعم | |
| Azure Databricks | نعم (الوضع المحلي لـ SDK فقط) | نعم | |
| Azure Data Lake Analytics | نعم | ||
| Azure HDInsight | نعم | ||
| Azure Batch | نعم |
تلميح
يحتوي مثيل الحساب على قرص نظام تشغيل بسعة 120 غيغابايت. إذا نفدت مساحة القرص، استخدم المحطة الطرفية لمسح ما لا يقل عن 1-2 غيغابايت قبل إيقاف أو إعادة تشغيل مثيل الحساب.
أهداف الحوسبة للاستدلال
عند إجراء الاستدلال، يقوم التعلم الآلي من Azure بإنشاء حاوية Docker تستضيف النموذج والموارد المقترنة اللازمة لاستخدامه. ثم يتم استخدام هذه الحاوية في هدف الحوسبة.
يؤثر هدف الحساب الذي تستخدمه لاستضافة النموذج الخاص بك على تكلفة وتوافر نقطة النهاية المنشورة. استخدم هذا الجدول لاختيار هدف حوسبة مناسب.
| هدف الحساب | يُستخدم في | دعم وحدة المعالجة الرسومية | الوصف |
|---|---|---|---|
| نقاط نهاية التعلم الآلي Azure | الاستدلال في الوقت الحقيقي استدلال الدُفعة |
نعم | حسابات مدارة بالكامل في الوقت الفعلي (نقاط النهاية المدارة عبر الإنترنت) وتسجيل الدفعات (نقاط نهاية الدفعة) على حساب بلا خادم. |
| نماذج التعلم الآلي من Azure | الاستدلال في الوقت الحقيقي استدلال الدُفعة |
نعم | تشغيل أحمال عمل الاستدلال على مجموعات Kubernetes المحلية والسحابات والحافة. |
| هدف الحساب | يُستخدم في | دعم وحدة المعالجة الرسومية | الوصف |
|---|---|---|---|
| خدمة الويب المحلية | الاختبار/التصحيح | يُستخدم للاختبار المحدود واستكشاف الأخطاء وإصلاحها. يعتمد تسريع الأجهزة على استخدام المكتبات في النظام المحلي. | |
| نماذج التعلم الآلي من Azure | الاستدلال في الوقت الحقيقي | نعم | تشغيل أحمال عمل الاستدلال في السحابة. |
| مثيلات Azure Container | الاستدلال في الوقت الحقيقي موصى به لأغراض التطوير/الاختبار فقط. |
استخدمه لأحمال العمل منخفضة النطاق المستندة إلى وحدة المعالجة المركزية والتي تتطلب أقل من 48 غيغابايت من ذاكرة الوصول العشوائي. لا يتطلب منك إدارة نظام المجموعة. مناسب فقط للنماذج التي يقل حجمها عن 1 غيغابايت. معتمد في المصمم. |
إشعار
عند اختيار SKU للمجموعة، قم أولاً بالتوسيع ثم توسيع النطاق. ابدأ بجهاز يحتوي على 150% من ذاكرة الوصول العشوائي التي يتطلبها نموذجك، وحدد النتيجة وابحث عن جهاز يتمتع بالأداء الذي تحتاجه. بمجرد أن تتعلم ذلك، قم بزيادة عدد الآلات لتناسب حاجتك إلى الاستدلال المتزامن.
مورد حوسبة التعلم الآلي من Azure (مُدار)
يقوم Azure التعلم الآلي بإنشاء موارد الحوسبة المدارة وإدارتها. تم تحسين هذا النوع من الحوسبة لأحمال عمل التعلم الآلي. مجموعات الحوسبة التعلم الآلي Azure والحوسبة بلا خادم ومثيلات الحوسبة هي الحسابات المدارة الوحيدة.
ليست هناك حاجة لإنشاء حساب بلا خادم. يمكنك إنشاء مثيلات أو مجموعات حوسبة التعلم الآلي من Azure من:
- Azure Machine Learning Studio
- Python SDK وAzure CLI:
- قالب Azure Resource Manager. للحصول على مثال للقالب، راجع إنشاء مجموعة حوسبة التعلم الآلي من Azure.
إشعار
بدلا من إنشاء مجموعة حساب، استخدم الحوسبة بلا خادم لإلغاء تحميل إدارة دورة حياة الحساب إلى Azure التعلم الآلي.
عند الإنشاء، تكون موارد الحوسبة هذه تلقائيا جزءا من مساحة العمل الخاصة بك، على عكس الأنواع الأخرى من أهداف الحوسبة.
| الإمكانية | نظام مجموعة الحساب | مثيل الحساب |
|---|---|---|
| المجموعة الأحادية أو المتعددة العقد | √ | المجموعة الأحادية العقد |
| تقوم بالقياس الألي في كل مرة تقوم فيها بإرسال أمر التشغيل | √ | |
| الإدارة التلقائية للمجموعة وجدولة الوظائف بها | √ | √ |
| دعم موارد كل من وحدة المعالجة المركزية ووحدة معالجة الرسومات | √ | √ |
إشعار
لتجنب الرسوم عندما تكون الحوسبة الخامة:
- بالنسبة إلى نظام مجموعة الحوسبة، تأكد من تعيين الحد الأدنى لعدد العقد إلى 0، أو استخدم حساب بلا خادم.
- بالنسبة لمثيل الحساب، قم بتمكين إيقاف التشغيل الخامل.
سلسلة وأحجام الأجهزة الظاهرية المعتمدة
هام
إذا كان مثيل الحساب أو مجموعات الحوسبة يستند إلى أي من هذه السلسلة، فقم بإعادة إنشائها بحجم جهاز ظاهري آخر قبل تاريخ إيقافها لتجنب تعطيل الخدمة.
ستتوقف هذه السلسلة في 31 أغسطس 2023:
ستتوقف هذه السلسلة في 31 أغسطس 2024:
عند تحديد حجم عقدة لمورد حساب مدار في التعلم الآلي من Azure، يمكنك الاختيار من بين أحجام الأجهزة الظاهرية المحددة المتوفرة في Azure. يقدم Azure مجموعة من الأحجام للأجهزة الظاهرية التي تعمل بنظامي Linux وWindows لتتناسب مع أحمال العمل المختلفة. لمعرفة المزيد، راجع أنواع الأجهزة الظاهرية وأحجامها.
هناك بعض الاستثناءات والقيود لاختيار حجم الجهاز الظاهري:
- بعض سلاسل الأجهزة الظاهرية غير مدعومة في التعلم الآلي من Azure.
- قد لا تظهر بعض سلاسل الأجهزة الظاهرية، مثل وحدات معالجة الرسومات ووحدات SKU الخاصة الأخرى، في البداية في قائمة الأجهزة الظاهرية المتوفرة. ولكن لا يزال بإمكانك استخدم ذلك وتغيير الحصة النسبية. لمزيد من المعلومات حول طلب الحصص النسبية، راجع طلب زيادة الحصة النسبية والحد. راجع الجدول التالي لمعرفة المزيد المتعلقة بالسلاسل والقيود المدعومة.
| سلاسل الأجهزة الظاهرية المدعومة | الفئة | مدعومة من قبل |
|---|---|---|
| DDSv4 | الغرض العام | مجموعات ومثيلات الحوسبة |
| Dv2 | الغرض العام | مجموعات ومثيلات الحوسبة |
| Dv3 | الغرض العام | مجموعات ومثيلات الحوسبة |
| DSv2 | الغرض العام | مجموعات ومثيلات الحوسبة |
| DSv3 | الغرض العام | مجموعات ومثيلات الحوسبة |
| EAv4 | الذاكرة المُحسنة | مجموعات ومثيلات الحوسبة |
| Ev3 | الذاكرة المُحسنة | مجموعات ومثيلات الحوسبة |
| ESv3 | الذاكرة المُحسنة | مجموعات ومثيلات الحوسبة |
| FSv2 | حساب محسّن | مجموعات ومثيلات الحوسبة |
| FX | حساب محسّن | حساب المجموعات |
| H | حساب عالي الأداء | مجموعات ومثيلات الحوسبة |
| غبطه | حساب عالي الأداء | مجموعات ومثيلات الحوسبة |
| HBv2 | حساب عالي الأداء | مجموعات ومثيلات الحوسبة |
| HBv3 | حساب عالي الأداء | مجموعات ومثيلات الحوسبة |
| مفوضيه | حساب عالي الأداء | مجموعات ومثيلات الحوسبة |
| LSv2 | التخزين المُحسن | مجموعات ومثيلات الحوسبة |
| M | الذاكرة المُحسنة | مجموعات ومثيلات الحوسبة |
| NC | الجرافيك | مجموعات ومثيلات الحوسبة |
| NC Promo | الجرافيك | مجموعات ومثيلات الحوسبة |
| NCv2 | الجرافيك | مجموعات ومثيلات الحوسبة |
| NCv3 | الجرافيك | مجموعات ومثيلات الحوسبة |
| Nd | الجرافيك | مجموعات ومثيلات الحوسبة |
| NDv2 | الجرافيك | مجموعات ومثيلات الحوسبة |
| نيفادا | الجرافيك | مجموعات ومثيلات الحوسبة |
| NVv3 | الجرافيك | مجموعات ومثيلات الحوسبة |
| NCasT4_v3 | الجرافيك | مجموعات ومثيلات الحوسبة |
| NDasrA100_v4 | الجرافيك | مجموعات ومثيلات الحوسبة |
بينما يدعم التعلم الآلي من Azure سلسلة الأجهزة الظاهرية هذه، إل أنها قد لا تكون متوفرة في جميع مناطق Azure. للتحقق مما إذا كانت سلسلة الأجهزة الظاهرية متوفرة، راجع المنتجات المتوفرة حسب المنطقة.
إشعار
لا يدعم التعلم الآلي من Azure جميع أحجام الأجهزة الظاهرية التي يدعمها Azure Compute. لسرد أحجام الأجهزة الظاهرية المتوفرة، استخدم الأسلوب التالي:
إشعار
لا يدعم التعلم الآلي من Azure جميع أحجام الأجهزة الظاهرية التي يدعمها Azure Compute. لسرد أحجام الأجهزة الظاهرية المتوفرة، استخدم إحدى الطرق التالية:
- واجهة برمجة التطبيقات REST
- ملحق Azure CLI 2.0 لأمر التعلم الآلي، أحجام قائمة حساب az ml.
إذا كنت تستخدم أهداف الحوسبة الممكنة بواسطة GPU، فمن المهم التأكد من تثبيت برامج تشغيل CUDA الصحيحة في بيئة التدريب. استخدم الجدول التالي لتحديد إصدار CUDA الصحيح لاستخدامه:
| معمارية وحدة معالجة الرسومات | سلسلة أجهزة Azure الظاهرية | إصدارات CUDA المدعومة |
|---|---|---|
| أمبير | NDA100_v4 | 11.0+ |
| تورينغ | NCT4_v3 | 10.0+ |
| فولتا | NCv3, NDv2 | 9.0+ |
| باسكال | NCv2, ND | 9.0+ |
| ماكسويل | NV, NVv3 | 9.0+ |
| كيبلر | NC, NC Promo | 9.0+ |
بالإضافة إلى ضمان توافق إصدار CUDA والأجهزة، تأكد أيضا من أن إصدار CUDA متوافق مع إصدار إطار عمل التعلم الآلي الذي تستخدمه:
- بالنسبة إلى PyTorch، يمكنك التحقق من التوافق من خلال زيارة صفحة الإصدارات السابقة من Pytorch.
- بالنسبة إلى Tensorflow، يمكنك التحقق من التوافق عن طريق زيارة بنية Tensorflow من الصفحة المصدر.
حساب العزل
توفر حوسبة التعلم الآلي من Azure أحجام أجهزة ظاهرية معزولة لنوع معين من الأجهزة ومخصصة لعميل واحد. تعد أحجام الأجهزة الظاهرية المعزولة الأنسب لأحمال العمل التي تتطلب درجة عالية من العزلة عن أعباء عمل العملاء الآخرين لأسباب تشمل تلبية متطلبات الامتثال والمتطلبات التنظيمية. يضمن استخدام حجم معزول أن الجهاز الظاهري الخاص بك هو الوحيد الذي يعمل على مثيل الخادم المحدد هذا.
تتضمن عروض الأجهزة الظاهرية المعزولة الحالية ما يلي:
- Standard_M128ms
- Standard_F72s_v2
- Standard_NC24s_v3
- Standard_NC24rs_v3 (RDMA قادر)
لمعرفة المزيد حول العزل، راجع العزل في سحابة Azure العامة.
الحوسبة غير المدارة
لا يدير Azure التعلم الآلي هدف حساب غير مدار. يمكنك إنشاء هذا النوع من هدف الحوسبة خارج التعلم الآلي من Azure، ثم إرفاقه بمساحة العمل الخاصة بك. يمكن أن تتطلب موارد الحوسبة غير المدارة خطوات إضافية للحفاظ على أداء أحمال عمل التعلم الآلي أو تحسينه.
يدعم التعلم الآلي من Azure أنواع الحوسبة غير المدارة التالية:
- الأجهزة الظاهرية البعيدة
- Azure HDInsight
- خدمة Azure Databricks
- Azure Data Lake Analytics
- Azure Kubernetes Service
- تجمع Azure Synapse Spark (مهمل)
لمزيد من المعلومات، راجع إدارة موارد الحوسبة.