إعداد بيئة تطوير Python ل Azure التعلم الآلي

  • مقالة
  • قراءة خلال 6 دقائق

تعرف على كيفية تكوين بيئة تطوير Python ل Azure التعلم الآلي.

يوضح الجدول التالي كل بيئة تطوير تغطيها هذه المقالة، إلى جانب إيجابيات وسلبيات.

البيئة الإيجابيات السلبيات
البيئة المحلية السيطرة الكاملة على بيئة التنمية الخاصة بك والتبعيات. قم بالتشغيل باستخدام أي أداة إنشاء أو بيئة أو IDE من اختيارك. يستغرق وقتا أطول للبدء. يجب تثبيت حزم SDK الضرورية، ويجب أيضا تثبيت بيئة إذا لم يكن لديك واحدة بالفعل.
الجهاز الظاهري لعلوم البيانات (DSVM) على غرار مثيل الحوسبة المستند إلى السحابة (يتم تثبيت Python و SDK مسبقا) ، ولكن مع أدوات إضافية شائعة لعلوم البيانات والتعلم الآلي مثبتة مسبقا. من السهل توسيع نطاقها ودمجها مع الأدوات المخصصة الأخرى وسير العمل. تجربة بدء أبطأ مقارنة بمثيل الحوسبة المستند إلى السحابة.
مثيل حساب التعلم الآلي من Azure أسهل طريقة للبدء. تم تثبيت SDK بالكامل بالفعل في الجهاز الظاهري لمساحة العمل الخاصة بك ، ويتم استنساخ البرامج التعليمية لأجهزة الكمبيوتر المحمولة مسبقا وجاهزة للتشغيل. عدم السيطرة على بيئة التطوير الخاصة بك والتبعيات. التكلفة الإضافية المتكبدة ل Linux VM (يمكن إيقاف الجهاز الظاهري عندما لا يكون قيد الاستخدام لتجنب الرسوم). راجع ⁧⁩تفاصيل التسعير⁧⁩.
Azure Databricks مثالية لتشغيل مهام سير عمل التعلم الآلي المكثفة على نطاق واسع على منصة Apache Spark القابلة للتطوير. المبالغة في التعلم الآلي التجريبي ، أو التجارب وسير العمل على نطاق أصغر. التكلفة الإضافية المتكبدة ل Azure Databricks. راجع ⁧⁩تفاصيل التسعير⁧⁩.

توفر هذه المقالة أيضا تلميحات استخدام إضافية للأدوات التالية:

  • Jupyter Notebooks: إذا كنت تستخدم بالفعل Jupyter Notebooks ، فإن SDK تحتوي على بعض الإضافات التي يجب تثبيتها.

  • Visual Studio Code: إذا كنت تستخدم Visual Studio Code، فإن ملحق Azure التعلم الآلي يتضمن دعما لغويا شاملا ل Python بالإضافة إلى ميزات لجعل العمل مع Azure التعلم الآلي أكثر ملاءمة وإنتاجية.

المتطلبات الأساسية

محلي وDSVM فقط: إنشاء ملف تكوين مساحة عمل

ملف تكوين مساحة العمل هو ملف JSON يخبر SDK بكيفية الاتصال بمساحة عمل Azure التعلم الآلي. يسمى الملف config.json، وله التنسيق التالي:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

يجب أن يكون ملف JSON هذا في بنية الدليل التي تحتوي على البرامج النصية Python أو دفاتر ملاحظات Jupyter. يمكن أن يكون في نفس الدليل أو دليل فرعي باسم . azureml أو في دليل أصلي.

لاستخدام هذا الملف من التعليمات البرمجية الخاصة بك، استخدم الطريقة Workspace.from_config . يقوم هذا الرمز بتحميل المعلومات من الملف ويتصل بمساحة العمل الخاصة بك.

إنشاء ملف تكوين مساحة عمل بإحدى الطرق التالية:

  • مدخل Azure

    تنزيل الملف: في مدخل Azure، حدد تنزيل config.json من قسم نظرة عامة في مساحة العمل.

    Azure portal

  • Azure التعلم الآلي Python SDK

    قم بإنشاء برنامج نصي للاتصال بمساحة عمل Azure التعلم الآلي واستخدام write_config الطريقة لإنشاء الملف وحفظه ك .azureml/config.json. تأكد من استبدال subscription_id،،resource_group ومع workspace_name الخاصة بك.

    from azureml.core import Workspace

subscription_id = '<subscription-id>'
resource_group  = '<resource-group>'
workspace_name  = '<workspace-name>'

try:
    ws = Workspace(subscription_id = subscription_id, resource_group = resource_group, workspace_name = workspace_name)
    ws.write_config()
    print('Library configuration succeeded')
except:
    print('Workspace not found')

الكمبيوتر المحلي أو بيئة الجهاز الظاهري البعيد

يمكنك إعداد بيئة على كمبيوتر محلي أو جهاز ظاهري بعيد، مثل مثيل حساب Azure التعلم الآلي أو Data Science VM.

لتكوين بيئة تطوير محلية أو جهاز ظاهري بعيد:

  1. إنشاء بيئة افتراضية بايثون (virtualenv، conda).

    ملاحظة

    على الرغم من أنه ليس مطلوبا ، فمن المستحسن استخدام Anaconda أو Miniconda لإدارة بيئات Python الافتراضية وتثبيت الحزم.

    هام

    إذا كنت تستخدم Linux أو macOS وتستخدم shell بخلاف bash (على سبيل المثال، zsh)، فقد تتلقى أخطاء عند تشغيل بعض الأوامر. كمحاولة للتغلب على bash هذه المشكلة استخدم الأمر لبدء تشغيل bash shell جديد وتشغيل الأوامر هناك.

  2. قم بتنشيط بيئة Python الافتراضية التي تم إنشاؤها حديثا.

  3. قم بتثبيت Azure التعلم الآلي Python SDK.

  4. لتكوين بيئتك المحلية لاستخدام مساحة عمل Azure التعلم الآلي، قم بإنشاء ملف تكوين مساحة عمل أو استخدم ملف موجود.

الآن بعد إعداد بيئتك المحلية، أصبحت جاهزا لبدء العمل مع Azure التعلم الآلي. راجع دليل بدء تشغيل Azure التعلم الآلي Python للبدء.

دفاتر ملاحظات Jupyter

عند تشغيل خادم Jupyter Notebook محلي، يوصى بإنشاء نواة IPython لبيئة Python الظاهرية. يساعد هذا على ضمان سلوك استيراد kernel و package المتوقع.

  1. تمكين حبات IPython الخاصة بالبيئة

    conda install notebook ipykernel

  2. قم بإنشاء نواة لبيئة بايثون الافتراضية الخاصة بك. تأكد من استبدالها <myenv> باسم بيئة بايثون الظاهرية.

    ipython kernel install --user --name <myenv> --display-name "Python (myenv)"

  3. قم بتشغيل خادم Jupyter Notebook

راجع مستودع دفاتر ملاحظات Azure التعلم الآلي لبدء استخدام Azure التعلم الآلي وJupyter Notebooks. راجع أيضا المستودع المستند إلى المجتمع، AzureML-Examples.

تعليمة Visual Studio برمجية

لاستخدام رمز Visual Studio للتطوير:

  1. ثبت التعليمات البرمجية لتطبيق Visual Studio.
  2. قم بتثبيت ملحق Azure التعلم الآلي Visual Studio Code (معاينة).

بمجرد تثبيت ملحق رمز Visual Studio، استخدمه من أجل:

مثيل حساب التعلم الآلي من Azure

يعد مثيل Azure التعلم الآلي compute محطة عمل Azure آمنة مستندة إلى مجموعة النظراء توفر لعلماء البيانات خادم Jupyter Notebook وJupyterLab وبيئة تعلم آلي مدارة بالكامل.

لا يوجد شيء لتثبيته أو تكوينه لمثيل حوسبة.

قم بإنشاء واحدة في أي وقت من داخل مساحة عمل Azure التعلم الآلي. قم بتوفير اسم فقط وحدد نوع Azure VM. جربه الآن مع هذا البرنامج التعليمي: بيئة الإعداد ومساحة العمل.

لمعرفة المزيد حول مثيلات الحوسبة، بما في ذلك كيفية تثبيت الحزم، راجع إنشاء مثيل حوسبة Azure التعلم الآلي وإدارته.

تلميح

لمنع تكبد رسوم لمثيل حوسبة غير مستخدم، أوقف مثيل الحوسبة.

بالإضافة إلى خادم Jupyter Notebook وJupyterLab، يمكنك استخدام مثيلات الحوسبة في ميزة دفتر الملاحظات المدمج داخل استوديو Azure التعلم الآلي.

يمكنك أيضا استخدام ملحق Azure التعلم الآلي Visual Studio Code للاتصال بمثيل حوسبة عن بعد باستخدام VS Code.

الجهاز الظاهري لعلوم البيانات

يعد Data Science VM صورة مخصصة للجهاز الظاهري (VM) يمكنك استخدامها كبيئة تطوير. إنه مصمم لأعمال علوم البيانات التي تم تكوينها مسبقا من الأدوات والبرامج مثل:

  • حزم مثل TensorFlow و PyTorch و Scikit-Learn و XGBoost و Azure التعلم الآلي SDK
  • أدوات علوم البيانات الشائعة مثل Spark Standalone و Drill
  • أدوات Azure مثل Azure CLI وAzCopy وStorage Explorer
  • بيئات التطوير المتكاملة (IDEs) مثل Visual Studio Code و PyCharm
  • خادم دفتر ملاحظات Jupyter

للحصول على قائمة أكثر شمولا بالأدوات، راجع دليل أدوات الأجهزة الظاهرية لعلوم البيانات.

هام

إذا كنت تخطط لاستخدام Data Science VM كهدف حساب لوظائف التدريب أو الاستدلال الخاصة بك ، دعم Ubuntu فقط.

لاستخدام VM لعلوم البيانات كبيئة تطوير:

  1. إنشاء جهاز ظاهري لعلوم البيانات باستخدام إحدى الطرق التالية:

    • استخدم مدخل Azure لإنشاء ملف DSVM أو Windows Ubuntu.

    • إنشاء جهاز ظاهري لعلوم البيانات باستخدام قوالب ARM.

    • استخدام Azure CLI

      لإنشاء جهاز ظاهري لعلوم بيانات Ubuntu، استخدم الأمر التالي:

      # create a Ubuntu Data Science VM in your resource group
# note you need to be at least a contributor to the resource group in order to execute this command successfully
# If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password

      لإنشاء Windows DSVM، استخدم الأمر التالي:

      # create a Windows Server 2016 DSVM in your resource group
# note you need to be at least a contributor to the resource group in order to execute this command successfully
az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password

  2. تنشيط بيئة conda التي تحتوي على Azure التعلم الآلي SDK.

    • ل Ubuntu Data Science VM:

      conda activate py36

    • لعلوم البيانات Windows VM:

      conda activate AzureML

  3. لتكوين الجهاز الظاهري لعلوم البيانات لاستخدام مساحة عمل Azure التعلم الآلي، قم بإنشاء ملف تكوين مساحة عمل أو استخدم ملف موجود.

على غرار البيئات المحلية، يمكنك استخدام Visual Studio Code وملحق Azure التعلم الآلي Visual Studio Code للتفاعل مع Azure التعلم الآلي.

لمزيد من المعلومات، راجع الأجهزة الظاهرية لعلوم البيانات.

الخطوات التالية