تحرير

تسجيل الدفعة لنماذج Python على Azure

Azure Container Registry
Azure Event Hubs
Azure Machine Learning
Azure SQL Database
Azure Stream Analytics

يوضح دليل البنية هذا كيفية إنشاء حل قابل للتطوير لنماذج تسجيل الدفعات Azure التعلم الآلي. يمكن استخدام الحل كنموذج ويمكن أن يعمم على مشاكل مختلفة.

بناء الأنظمة

رسم تخطيطي للبنية يوضح تسجيل الدفعات لنماذج Python على Azure

قم بتنزيل ملف Visio لهذه البنية.

‏‏سير العمل‬

ينطبق دليل البنية هذا على كل من البيانات المتدفقة والثابتة، شريطة أن يتم تكييف عملية الاستيعاب مع نوع البيانات. تصف الخطوات والمكونات التالية استيعاب هذين النوعين من البيانات.

دفق البيانات:

  1. تنشأ البيانات المتدفقة من مستشعرات IoT، حيث يتم دفق الأحداث الجديدة على فترات متكررة.
  2. يتم وضع أحداث الدفق الواردة في قائمة الانتظار باستخدام Azure Event Hubs، ثم معالجتها مسبقا باستخدام Azure Stream Analytics.
    • مراكز الأحداث. يمكن لخدمة استقبال الرسائل هذه استيعاب ملايين رسائل الأحداث في الثانية. في هذه البنية، ترسل المستشعرات دفقًا من البيانات إلى مركز الحدث.
    • Azure Stream Analytics. محرك معالجة حدث. تقرأ وظيفة Stream Analytics تدفقات البيانات من مركز الحدث، وتقوم بتنفيذ معالجة التدفق.

البيانات الثابتة:

  1. يمكن تخزين مجموعات البيانات الثابتة كملفات داخل Azure Data Lake Storage أو في شكل جدولي في Azure Synapse أو قاعدة بيانات Azure SQL.
  2. يمكن استخدام Azure Data Factory لتجميع مجموعة البيانات المخزنة أو معالجتها مسبقا.

البنية المتبقية، بعد استيعاب البيانات، تساوي كلا من البيانات المتدفقة والثابتة، وتتكون من الخطوات والمكونات التالية:

  1. يمكن تخزين البيانات التي تم استيعابها أو تجميعها أو معالجتها مسبقا كمستندات داخل Azure Data Lake Storage أو في شكل جدولي في Azure Synapse أو قاعدة بيانات Azure SQL. سيتم استهلاك هذه البيانات بعد ذلك بواسطة Azure التعلم الآلي.
  2. يستخدم Azure التعلم الآلي لتدريب نماذج التعلم الآلي ونشرها وإدارتها على نطاق واسع. في سياق تسجيل الدفعات، ينشئ Azure التعلم الآلي مجموعة من الأجهزة الظاهرية مع خيار التحجيم التلقائي، حيث يتم تنفيذ المهام بالتوازي اعتبارا من برامج Python النصية.
  3. يتم نشر النماذج كنقاط نهاية دفعية مدارة، والتي يتم استخدامها بعد ذلك للاستدلال على دفعات على كميات كبيرة من البيانات على مدى فترة زمنية. نقاط النهاية الدفعية تتلقى المؤشرات إلى البيانات وتشغِّل المهام بشكل غير متزامن لمعالجة البيانات بالتوازي على أنظمة مجموعات الحساب.
  4. يمكن تخزين نتائج الاستدلال كمستندات داخل Azure Data Lake Storage أو في شكل جدولي في Azure Synapse أو قاعدة بيانات Azure SQL.
  5. تصور: يمكن استهلاك نتائج النموذج المخزنة من خلال واجهات المستخدم، مثل لوحات معلومات Power BI، أو من خلال تطبيقات الويب المصممة خصيصاً.

المكونات

الاعتبارات

تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.

الأداء

بالنسبة لنماذج Python القياسية، من المقبول بشكل عام أن وحدات المعالجة المركزية كافية للتعامل مع حمل العمل. تستخدم هذه البنية وحدات المعالجة المركزية (CPU). ومع ذلك، بالنسبة لأحمال عمل التعلم العميق، تفوق وحدات معالجة الرسومات (GPUs) أداء وحدات المعالجة المركزية بشكل عام بمقدار كبير؛ عادة ما تكون هناك حاجة إلى مجموعة كبيرة من وحدات المعالجة المركزية للحصول على أداء قابل للمقارنة.

التوازي عبر الأجهزة الظاهرية مقابل الذاكرات الأساسية

عند تشغيل عمليات تسجيل النقاط للعديد من النماذج في وضع الدفعة، يجب أن تكون المهام متوازية عبر الأجهزة الظاهرية. يوجد طريقتان ممكنتان:

  • قم بإنشاء مجموعة أكبر باستخدام أجهزة ظاهرية منخفضة التكلفة.
  • قم بإنشاء مجموعة أصغر باستخدام أجهزة ظاهرية عالية الأداء مع توفر المزيد من الذاكرات الأساسية في كل منها.

بشكل عام، لا يكون تسجيل نماذج Python القياسية أمرا متطلبا مثل تسجيل نماذج التعلم العميق، ويجب أن تكون المجموعة الصغيرة قادرة على التعامل مع عدد كبير من النماذج في قائمة الانتظار بكفاءة. يمكنك زيادة عدد عُقد المجموعة مع زيادة أحجام مجموعة البيانات.

لملائمة السيناريو، يتم إرسال مهمة تسجيل واحدة ضمن خطوة خط أنابيب واحدة من التعلم الآلي من Microsoft Azure. ومع ذلك، يمكن أن يكون أكثر فاعلية تسجيل مجموعات بيانات متعددة في نفس خطوة البنية الأساسية لبرنامج ربط العمليات التجارية. في هذه الحالات، اكتب تعليمة برمجية مخصصة للقراءة في مجموعات بيانات متعددة وتنفيذ البرنامج النصي لتسجيل النقاط أثناء تنفيذ خطوة واحدة.

الإدارة

  • مراقبة الوظائف. من المهم مراقبة تقدم تشغيل الوظائف. ومع ذلك، يمكن أن يكون تحدياً للمراقبة من خلال مجموعة من العقد النشطة. لفحص حالة العقد في نظام المجموعة، استخدم مدخل Microsoft Azure لإدارة مساحة عمل التعلم الآلي. إذا كانت العقدة غير نشطة أو فشلت مهمة، يتم حفظ سجلات الخطأ في تخزين الكائن الثنائي كبير الحجم، ويمكن الوصول إليها أيضا في قسم Pipelines . للحصول على مراقبة أكثر ثراءً، قم بتوصيل السجلات بـApplication Insights، أو قم بتشغيل عمليات منفصلة لاستقصاء حالة نظام المجموعة ووظائفها.
  • التسجيل. تسجّل ميزة "تعلّم الآلة" كل stdout/stderr إلى حساب تخزين Azure المرتبط. لعرض ملفات السجل بسهولة، استخدم أداة تنقل التخزين مثل Azure Storage Explorer.

تحسين التكلفة

يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.

أغلى المكونات المستخدمة في دليل البنية هذا هي موارد الحوسبة. يتغير حجم نظام المجموعة الحسابي لأعلى ولأسفل اعتمادًا على المهام الموجودة في قائمة الانتظار. قم بتمكين التحجيم التلقائي برمجيًا من خلال عدة تطوير البرامج من Python عن طريق تعديل تكوين توفير الحساب. أو استخدم Azure CLI لتعيين معلمات التحجيم التلقائي لنظام المجموعة.

بالنسبة للعمل الذي لا يتطلب معالجة فورية، قم بتكوين صيغة القياس التلقائي بحيث تكون الحالة الافتراضية (الحد الأدنى) هي مجموعة من العقد الصفرية. من خلال هذا التكوين، تبدأ المجموعة بالعقد الصفرية وتتوسع فقط عندما تكتشف وظائف في قائمة الانتظار. إذا حدثت عملية تسجيل الدُفعات بضع مرات فقط في اليوم أو أقل، فإن هذا الإعداد يتيح توفيرًا كبيرًا في التكلفة.

قد لا يكون التحجيم التلقائي مناسبا لوظائف الدفعات التي تحدث قريبة جدا من بعضها البعض. نظرا لأن الوقت الذي يستغرقه نظام المجموعة للتكدير والنقصان يكلف تكلفة، إذا بدأ حمل عمل الدفعة بعد بضع دقائق فقط من انتهاء المهمة السابقة، فقد يكون من الأكثر فعالية من حيث التكلفة إبقاء نظام المجموعة قيد التشغيل بين الوظائف. تعتمد هذه الاستراتيجية على ما إذا كانت عمليات التسجيل مجدولة للتشغيل بمعدل تردد عال (كل ساعة، على سبيل المثال)، أو أقل تكرارا (مرة واحدة في الشهر، على سبيل المثال).

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكتاب الرئيسيون:

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية

وثائق المنتج:

وحدات Microsoft Learn: