ما هو مثيل حساب التعلم الآلي من Microsoft Azure؟
مثيل حساب التعلم الآلي من Microsoft Azure هو محطة عمل مُدارة مستندة إلى السحابة لعلماء البيانات. لا يحتوي كل مثيل حوسبة إلا على مالك واحد فقط، على الرغم من أنه يمكنك مشاركة الملفات بين مثيلات الحوسبة المتعددة.
تسهل مثيلات الحوسبة البدء في تطوير Azure التعلم الآلي وتوفير قدرات الإدارة والاستعداد للمؤسسات لمسؤولي تكنولوجيا المعلومات.
استخدم مثيل حساب كبيئة تطوير مكوّنة ومدارة بالكامل في سحابة التعلم الآلي. كما يمكن استخدامها كهدف حساب للتدريب والاستدلال لأغراض التطوير والاختبار.
لكي تعمل وظيفة Jupyter لمثيل الحساب، تأكد من عدم تعطيل اتصال مأخذ توصيل الويب. تأكد من أن شبكتك تسمح باتصالات websocket بـ *.instances.azureml.net و *.instances.azureml.ms.
هام
العناصر التي تم وضع علامة عليها (إصدار أولي) في هذه المقالة موجودة حالياً في الإصدار الأولي العام. تتوفر نسخة الإصدار الأولي دون اتفاقية مستوى الخدمة، ولا يوصى به لأحمال عمل الإنتاج. بعض الميزات ربما لا تكون مدعمة أو بها بعض القدرات المقيدة. لمزيد من المعلومات، راجع شروط الاستخدام التكميلية لمعاينات Microsoft Azure.
لماذا تستخدم مثيل حساب؟
مثيل الحساب هو محطة عمل مستندة إلى السحابة مُدارة بشكل كامل ومحسّنة لبيئة تطوير التعلم الآلي. توفر الفوائد التالية:
المزايا الرئيسية | الوصف |
---|---|
الإنتاجية | يمكنك إنشاء النماذج ونشرها باستخدام دفاتر الملاحظات المتكاملة والأدوات التالية في استوديو التعلم الآلي من Microsoft Azure: - Jupyter - JupyterLab - VS Code (إصدار أولي) تم دمج مثيل الحساب بالكامل مع استوديو ومساحة عمل التعلم الآلي من Microsoft Azure. يمكنك مشاركة دفاتر الملاحظات والبيانات مع علماء البيانات الآخرين في مساحة العمل. |
مدارة وآمنة | يمكنك تقليل أثر الأمان وإضافة التوافق مع متطلبات أمان المؤسسة. توفر مثيلات الحساب سياسات إدارة قوية وتكوينات شبكة آمنة مثل: - التوفير التلقائي من قوالب Resource Manager أو SDK لـ التعلم الآلي من Microsoft Azure - التحكم في الوصول المستند إلى الدور في Azure (Azure RBAC) - دعم شبكة ظاهرية - نهج Azure لتعطيل وصول SSH - نهج Azure لفرض الإنشاء في شبكة ظاهرية - إيقاف التشغيل التلقائي/البدء التلقائي استنادا إلى الجدول الزمني - تمكين TLS 1.2 |
تكوين التعلم الآلي مسبقاً | يمكنك توفير الوقت في مهام الإعداد باستخدام حزم التعلم الآلي المكوّنة مسبقاً والمحدثة، وأطر عمل التعلم العميق، وبرامج تشغيل GPU. |
قابل للتخصيص بالكامل | الدعم الواسع لأنواع أجهزة Azure الظاهرية بما في ذلك وحدات GPU والتخصيص المستمر منخفض المستوى مثل تثبيت الحزم وبرامج التشغيل يجعل السيناريوهات المتقدمة أمراً سهلاً. يمكنك أيضاً استخدام البرامج النصية للإعداد لأتمتة التخصيص |
- تأمين مثيل الحوسبة الخاص بك بدون عنوان IP عام.
- مثيل الحساب هو أيضا هدف حوسبة تدريب آمن مشابه لمجموعات الحوسبة، ولكنه عقدة واحدة.
- يمكنك إنشاء مثيل حساب بنفسك، أو يمكن للمسؤول إنشاء مثيل حساب نيابةً عنك.
- يمكنك أيضا استخدام برنامج نصي للإعداد بطريقة تلقائية لتخصيص وتكوين مثيل الحساب وفقا لاحتياجاتك.
- لتوفير التكاليف، قم بإنشاء جدول لبدء تشغيل مثيل الحساب وإيقافه تلقائيا، أو تمكين إيقاف التشغيل الخامل
الأدوات والبيئات
يتيح لك مثيل حساب التعلم الآلي من Microsoft Azure إنشاء النماذج وتدريبها ونشرها في تجربة دفتر ملاحظات متكاملة بالكامل في مساحة عملك.
يمكنك تشغيل دفاتر الملاحظات من مساحة عمل Azure التعلم الآلي أو Jupyter أو JupyterLab أو Visual Studio Code. يمكن تكوين VS Code Desktop للوصول إلى مثيل الحساب الخاص بك. أو استخدم VS Code للويب، مباشرة من المتصفح، ودون أي تثبيتات أو تبعيات مطلوبة.
نوصي بتجربة VS Code للويب للاستفادة من التكامل السهل وبيئة التطوير الغنية التي يوفرها. يمنحك VS Code للويب العديد من ميزات VS Code Desktop التي تحبها، بما في ذلك تمييز البحث وبناء الجملة أثناء الاستعراض والتحرير. لمزيد من المعلومات حول استخدام VS Code Desktop و VS Code للويب، راجع تشغيل Visual Studio Code المتكامل مع Azure التعلم الآلي (معاينة) والعمل في VS Code المتصل عن بعد بمثيل حساب (معاينة).
يمكنك تثبيت الحزم وإضافة نواة إلى مثيل حسابك.
الأدوات والبيئات التالية مثبتة بالفعل على مثيل الحساب:
الأدوات العامة والبيئات | التفاصيل |
---|---|
Drivers | CUDA cuDNN NVIDIA Blob FUSE |
مكتبة التعليمات البرمجية Intel MPI | |
Azure CLI | |
عينات التعلم الآلي من Microsoft Azure | |
Docker | |
Nginx | |
NCCL 2.0 | |
Protobuf |
أدوات R والبيئات | التفاصيل |
---|---|
نواة R |
يمكنك إضافة RStudio أو Posit Workbench (المعروف سابقا ب RStudio Workbench) عند إنشاء المثيل.
أدوات PYTHON وبيئاتها | التفاصيل |
---|---|
Anaconda Python | |
Jupyter والملحقات | |
Jupyterlab والملحقات | |
Azure التعلم الآلي SDK ل Python من PyPI |
يتضمن azure-ai-ml والعديد من حزم azure الإضافية الشائعة. للاطلاع على القائمة الكاملة، افتح نافذة طرفية على مثيل الحساب الخاص بك وقم بتشغيل conda list -n azureml_py310_sdkv2 ^azure |
حزم PyPI الأخرى | jupytext tensorboard nbconvert notebook Pillow |
حزم Conda | cython numpy ipykernel scikit-learn matplotlib tqdm joblib nodejs |
حزم التعلم العميق | PyTorch TensorFlow Keras Horovod MLFlow pandas-ml scrapbook |
حزم ONNX | keras2onnx onnx onnxconverter-common skl2onnx onnxmltools |
عينات Python لـ التعلم الآلي من Microsoft Azure |
يحتوي مثيل الحساب على Ubuntu ك نظام تشغيل أساسي.
الوصول إلى الملفات
يتم تخزين دفاتر الملاحظات والبرامج النصية ل Python في حساب التخزين الافتراضي لمساحة العمل الخاصة بك في مشاركة ملف Azure. توجد هذه الملفات ضمن دليل "ملفات المستخدم". يسهّل هذا التخزين مشاركة دفاتر الملاحظات بين مثيلات الحساب. يحتفظ حساب التخزين أيضاً بدفاتر الملاحظات بأمان عند إيقاف أو حذف مثيل حساب.
يتم تثبيت حساب مشاركة ملف Azure لمساحة العمل كمحرك أقراص على مثيل الحساب. محرك الأقراص هذا هو دليل العمل الافتراضي ل Jupyter وJupyter Labs وRStudio وPosit Workbench. وهذا يعني أن دفاتر الملاحظات والملفات الأخرى التي تقوم بإنشائها في Jupyter أو JupyterLab أو VS Code للويب أو RStudio أو Posit يتم تخزينها تلقائيا على مشاركة الملف ومتاحة للاستخدام في مثيلات الحوسبة الأخرى أيضا.
يمكن الوصول إلى الملفات الموجودة في مشاركة الملف من جميع مثيلات الحساب في مساحة العمل نفسها. ستستمر أي تغييرات تطرأ على هذه الملفات في مثيل الحساب بشكل موثوق مرة أخرى إلى مشاركة الملف.
يمكنك أيضا استنساخ أحدث عينات التعلم الآلي من Microsoft Azure إلى مجلدك ضمن دليل ملفات المستخدم في مشاركة ملف مساحة العمل.
يمكن أن تكون عملية كتابة الملفات الصغيرة أبطأ على محركات أقراص الشبكة من الكتابة على القرص المحلي لمثيل الحساب نفسه. إذا كنت تكتب العديد من الملفات الصغيرة، فحاول استخدام دليل مباشرة على مثيل الحساب، مثل /tmp
دليل. لاحظ أنه لن يمكن الوصول إلى هذه الملفات من مثيلات الحوسبة الأخرى.
لا تخزن بيانات التدريب على مشاركة ملفات دفاتر الملاحظات. للحصول على معلومات حول الخيارات المختلفة لتخزين البيانات، راجع Access data in a job.
يمكنك استخدام الدليل /tmp
على مثيل الحساب لبياناتك المؤقتة. ومع ذلك، لا تكتب ملفات كبيرة من البيانات على قرص نظام التشغيل لمثيل الحساب. يحتوي قرص نظام التشغيل على مثيل الحساب على سعة 128 غيغابايت. يمكنك أيضاً تخزين بيانات التدريب المؤقتة على القرص المؤقت المثبت على /mnt. يعتمد حجم القرص المؤقت على حجم الجهاز الظاهري المختار ويمكنه تخزين كميات أكبر من البيانات إذا تم اختيار جهاز ظاهري بحجم أعلى. يتم حفظ أي حزم برامج تثبتها على قرص نظام التشغيل لمثيل الحساب. لاحظ أن تشفير المفتاح المدار من قبل العميل غير مدعوم حاليا لقرص نظام التشغيل. يتم تشفير قرص نظام التشغيل لمثيل الحساب باستخدام مفاتيح تديرها Microsoft.
يمكنك أيضاً تحميل مخازن البيانات ومجموعات البيانات.
إنشاء
اتبع الخطوات الواردة في إنشاء الموارد التي تحتاجها للبدء في إنشاء مثيل حساب أساسي.
لمزيد من الخيارات، راجع إنشاء مثيل حساب جديد.
كمسؤول، يمكنك إنشاء مثيل حساب للآخرين في مساحة العمل.
يمكنك أيضا استخدام برنامج نصي للإعداد بطريقة تلقائية لتخصيص وتكوين مثيل الحساب.
طرق أخرى لإنشاء مثيل حساب:
- مباشرة من تجربة دفاتر الملاحظات المتكاملة.
- من قالب Azure Resource Manager. للحصول على مثال للقالب، راجع إنشاء قالب مثيل حساب التعلم الآلي من Microsoft Azure.
- باستخدام SDK لـ التعلم الآلي من Microsoft Azure
- من ملحق CLI للتعلم الآلي من Microsoft Azure
يتم توحيد النوى المخصصة لكل منطقة لكل حصة عائلة VM وإجمالي الحصة الإقليمية، والتي تنطبق على إنشاء مثيل الحساب، ومشاركتها مع حصة مجموعة حساب التدريب على التعلم الآلي في Azure. لا يؤدي إيقاف مثيل الحساب إلى إصدار الحصة لضمان قدرتك على إعادة تشغيل مثيل الحساب. لا توقف مثيل الحساب من خلال محطة نظام التشغيل عن طريق إيقاف تشغيل sudo.
يأتي مثيل الحساب مع قرص نظام التشغيل P10. يعتمد نوع القرص المؤقت على حجم الجهاز الظاهري المختار. حاليا، لا يمكن تغيير نوع قرص نظام التشغيل.
هدف الحساب
يمكن استخدام مثيلات الحوسبة كهدف حساب تدريب مشابه لنظم مجموعات تدريب الحوسبة الخاصة بالتعلم الآلي من Microsoft Azure. لكن مثيل الحوسبة يحتوي على عقدة واحدة فقط، بينما يمكن أن تحتوي مجموعة الحوسبة على عدد أكبر من العقد.
مثيل الحساب:
- يتضمن قائمة انتظار مهمة.
- تشغّل المهام بشكلٍ آمن في بيئة شبكة ظاهرية، دون حاجة المؤسسات لفتح منافذ SSH. تنفذ المهمة في بيئة حاويات وتعبأ تبعيات النموذج الخاص بك في حاوية Docker.
- يمكن تشغيل وظائف صغيرة متعددة بالتوازي. يمكن تشغيل وظيفة واحدة لكل وحدة معالجة مركزية افتراضية بالتوازي بينما يتم وضع بقية المهام في قائمة الانتظار.
- يدعم مهام التدريب الموزعة متعددة GPU وأحادية العقدة
يمكنك استخدام مثيل الحساب كهدف نشر استنتاج محلي لسيناريوهات الاختبار/تتبع الأخطاء.
تلميح
يحتوي مثيل الحساب على قرص نظام تشغيل بسعة 120 غيغابايت. إذا نفدت مساحة القرص وأصبحت في حالة غير قابلة للاستخدام، فيُرجى مسح مساحة قرص بسعة 5 غيغابايت على الأقل على قرص نظام التشغيل (مثبتة على /) من خلال محطة مثيل الحساب عن طريق إزالة الملفات/المجلدات ثم نفّد ذلكsudo reboot
. سيتم تحرير القرص المؤقت بعد إعادة التشغيل؛ لا تحتاج إلى مسح المساحة على القرص المؤقت يدويا. للوصول إلى terminal، انتقل إلى صفحة قائمة الحساب أو صفحة تفاصيل مثيل الحساب وانقر على ارتباط Terminal. يمكنك التحقق من مساحة القرص المتوفرة عن طريق تشغيل df -h
على terminal. امسح مساحة 5 غيغابايت على الأقل قبل تنفيذ sudo reboot
. يُرجى عدم إيقاف مثيل الحساب أو إعادة تشغيله من خلال Studio حتى يتم مسح مساحة قرص 5 غيغابايت. لن تعمل عمليات إيقاف التشغيل التلقائي، بما في ذلك البدء المجدول أو الإيقاف بالإضافة إلى إيقاف التشغيل الخامل، إذا كان قرص CI ممتلئا.
الخطوات التالية
- إنشاء الموارد التي تحتاجها للبدء.
- البرنامج التعليمي: تدريب نموذج التعلم الآلي الأول الخاص بك يوضح كيفية استخدام مثيل حساب مع دفتر ملاحظات متكامل.