ما هي خطوط أنابيب Azure التعلم الآلي؟
في هذه المقالة، ستتعرف على كيفية مساعدة خط أنابيب التعلم الآلي في إنشاء سير عمل التعلم الآلي وتحسينه وإدارته.
ما هي تقنية خط أنابيب Azure التي يجب أن أستخدمها؟
توفر سحابة Azure عدة أنواع من خطوط الأنابيب، لكل منها غرض مختلف. يسرد الجدول التالي خطوط الأنابيب المختلفة وما يتم استخدامها من أجله:
| السيناريو | الشخصية الأساسية | عرض Azure | عرض برمجيات المصدر المفتوح | الأنابيب القانونية | نقاط القوه |
|---|---|---|---|---|---|
| تنسيق النموذج (التعلم الآلي) | عالم البيانات | Azure التعلم الآلي Pipelines | خطوط أنابيب كوبيفلو | البيانات -> النموذج | التوزيع ، التخزين المؤقت ، الرمز أولا ، إعادة الاستخدام |
| تنسيق البيانات (إعداد البيانات) | مهندس البيانات | تدفقات Azure Data Factory | أباتشي تدفق الهواء | البيانات -> البيانات | حركة مكتوبة بقوة ، أنشطة تتمحور حول البيانات |
| تنسيق تطبيق التعليمات البرمجية & (CI/CD) | مطور التطبيقات / العمليات | تدفقات Azure | Jenkins | الرمز + النموذج -> التطبيق/الخدمة | دعم النشاط الأكثر انفتاحا ومرونة، وقوائم انتظار الموافقة، والمراحل مع البوابة |
ما الذي يمكن أن تفعله خطوط أنابيب التعلم الآلي؟
يعد خط أنابيب Azure التعلم الآلي سير عمل قابل للتنفيذ بشكل مستقل لمهمة تعلم آلي كاملة. يتم تغليف المهام الفرعية كسلسلة من الخطوات داخل خط الأنابيب. يمكن أن يكون خط أنابيب Azure التعلم الآلي بسيطا مثل ذلك الذي يستدعي برنامج Python النصي ، لذلك قد يفعل أي شيء تقريبا. يجب أن تركز خطوط الأنابيب على مهام التعلم الآلي مثل:
- إعداد البيانات
- تكوين التدريب
- التدريب الفعال والتحقق من الصحة
- عمليات النشر القابلة للتكرار
لا يمكن القيام بالخطوات التي تستغرق وقتا طويلا إلا عند تغيير مدخلاتها. قد يتم تشغيل تغيير في البرنامج النصي للتدريب دون إعادة خطوات تحميل البيانات وإعدادها. يمكن أن تستخدم الخطوات المنفصلة نوع/أحجام حوسبة مختلفة لكل خطوة. تسمح الخطوات المستقلة لعلماء بيانات متعددين بالعمل على نفس خط الأنابيب في نفس الوقت دون فرض ضرائب زائدة على موارد الحوسبة.
المزايا الرئيسية
المزايا الرئيسية لاستخدام خطوط الأنابيب لسير عمل التعلم الآلي الخاص بك هي:
| الميزة الرئيسية | الوصف |
|---|---|
| أشواط غير مراقبة | جدولة الخطوات لتشغيلها بالتوازي أو بالتسلسل بطريقة موثوقة وغير مراقبة. يمكن أن يستمر إعداد البيانات ونمذجتها لأيام أو أسابيع، وتسمح لك خطوط الأنابيب بالتركيز على المهام الأخرى أثناء تشغيل العملية. |
| الحوسبة غير المتجانسة | استخدم خطوط أنابيب متعددة يتم تنسيقها بشكل موثوق عبر موارد الحوسبة غير المتجانسة والقابلة للتطوير ومواقع التخزين. استفد بكفاءة من موارد الحوسبة المتاحة من خلال تشغيل خطوات خط أنابيب فردية على أهداف حوسبة مختلفة، مثل HDInsight و GPU Data Science VMs و Databricks. |
| إعادة الاستخدام | إنشاء قوالب خطوط أنابيب لسيناريوهات محددة، مثل إعادة التدريب وتسجيل الدفعات. قم بتشغيل خطوط الأنابيب المنشورة من الأنظمة الخارجية عبر مكالمات REST البسيطة. |
| التتبع وتعيين الإصدار | بدلا من تعقب البيانات ومسارات النتائج يدويا أثناء التكرار، استخدم SDK لخطوط الأنابيب لتسمية مصادر البيانات والمدخلات والمخرجات وإصدارها بشكل صريح. يمكنك أيضا إدارة البرامج النصية والبيانات بشكل منفصل لزيادة الإنتاجية. |
| النمطية | يسمح فصل مجالات الاهتمام وعزل التغييرات للبرامج بالتطور بمعدل أسرع وجودة أعلى. |
| التعاون | تسمح خطوط الأنابيب لعلماء البيانات بالتعاون في جميع مجالات عملية تصميم التعلم الآلي ، مع القدرة على العمل بشكل متزامن على خطوات خطوط الأنابيب. |
تحليل التبعيات
يعد تحليل التبعية في خطوط أنابيب Azure التعلم الآلي أكثر تطورا من الطوابع الزمنية البسيطة. قد يتم تشغيل كل خطوة في بيئة أجهزة وبرامج مختلفة. يقوم Azure التعلم الآلي تلقائيا بتنسيق كافة التبعيات بين خطوات خط الأنابيب. قد يتضمن هذا التنسيق تدوير صور Docker لأعلى ولأسفل ، وإرفاق موارد الحوسبة وفصلها ، ونقل البيانات بين الخطوات بطريقة متسقة وتلقائية.
تنسيق الخطوات المعنية
عند إنشاء كائن وتشغيله Pipeline ، تحدث الخطوات عالية المستوى التالية:
- لكل خطوة، تقوم الخدمة بحساب المتطلبات الخاصة بما يلي:
- موارد حوسبة الأجهزة
- موارد نظام التشغيل (صورة (صور) Docker)
- موارد البرامج (تبعيات Conda / virtualenv)
- مدخلات البيانات
- تحدد الخدمة التبعيات بين الخطوات، مما يؤدي إلى رسم بياني ديناميكي للتنفيذ
- عند تشغيل كل عقدة في الرسم البياني للتنفيذ:
- تقوم الخدمة بتكوين بيئة الأجهزة والبرامج اللازمة (ربما إعادة استخدام الموارد الموجودة)
- يتم تشغيل الخطوة ، مما يوفر معلومات التسجيل والمراقبة للكائن الذي يحتوي عليه
Experiment - عند اكتمال الخطوة ، يتم إعداد مخرجاتها كمدخلات للخطوة التالية و / أو كتابتها إلى التخزين
- يتم الانتهاء من الموارد التي لم تعد هناك حاجة إليها وفصلها
الخطوات التالية
تعد خطوط أنابيب Azure التعلم الآلي منشأة قوية تبدأ في تقديم القيمة في مراحل التطوير المبكرة.
- تعريف خطوط الأنابيب باستخدام Azure CLI
- تعريف خطوط الأنابيب باستخدام Azure SDK
- تعريف خطوط الأنابيب باستخدام Designer
- راجع المستندات المرجعية ل SDK للاطلاع على الخطوات الأساسية لخط الأنابيبوخط الأنابيب.
- جرب أمثلة على دفاتر ملاحظات Jupyter التي تعرض خطوط أنابيب Azure التعلم الآلي. تعرف على كيفية تشغيل دفاتر الملاحظات لاستكشاف هذه الخدمة.