استخدم مكتبات ومنصات التعلم الآلي مفتوحة المصدر مع Azure التعلم الآلي

  • مقالة
  • قراءة خلال 4 دقائق

في هذه المقالة، تعرف على مكتبات وأنظمة Python مفتوحة المصدر للتعلم الآلي والأنظمة الأساسية التي يمكنك استخدامها مع Azure التعلم الآلي. يمكنك تدريب عملية التعلم الآلي الشاملة ونشرها وإدارتها باستخدام مصدر مفتوح المشاريع التي تفضلها. استخدم أدوات التطوير، مثل Jupyter Notebooks و Visual Studio Code، للاستفادة من النماذج والبرامج النصية الموجودة في Azure التعلم الآلي.

تدريب نماذج التعلم الآلي مفتوحة المصدر

تتضمن عملية التدريب على التعلم الآلي تطبيق الخوارزميات على بياناتك من أجل تحقيق مهمة أو حل مشكلة. بناء على المشكلة، يمكنك اختيار خوارزميات مختلفة تناسب المهمة وبياناتك على أفضل وجه. لمزيد من المعلومات حول ما يمكنك حله باستخدام التعلم الآلي، راجع مقالة التعلم العميق مقابل التعلم الآليوورقة الغش في خوارزمية التعلم الآلي.

التعلم الآلي الكلاسيكي: scikit-learn

بالنسبة لمهام التدريب التي تنطوي على مهام خوارزميات التعلم الآلي الكلاسيكية مثل التصنيف والتجميع والانحدار ، يمكنك استخدام شيء مثل scikit-learn. لمعرفة كيفية تدريب نموذج تصنيف الزهور ، راجع كيفية التدريب باستخدام مقالة scikit-learn.

الشبكات العصبية: PyTorch ، TensorFlow ، Keras

تعد خوارزميات التعلم الآلي مفتوحة المصدر المعروفة باسم الشبكات العصبية، وهي مجموعة فرعية من التعلم الآلي، مفيدة لتدريب نماذج التعلم العميق في Azure التعلم الآلي.

تتضمن أطر التعلم العميق مفتوحة المصدر والأدلة الإرشادية ما يلي:

نقل التعلم

غالبا ما يتطلب تدريب نموذج التعلم العميق من الصفر كميات كبيرة من الوقت والبيانات وموارد الحساب. يمكنك اختصار عملية التدريب باستخدام التعلم التحويلي. نقل التعلم هو تقنية تطبق المعرفة المكتسبة من حل مشكلة واحدة إلى مشكلة مختلفة ولكنها ذات صلة. هذا يعني أنه يمكنك أخذ نموذج موجود لإعادة توظيفه. راجع مقالة التعلم العميق مقابل التعلم الآلي لمعرفة المزيد حول التعلم الانتقالي.

التعلم التعزيزي: راي RLLib

التعلم المعزز هو تقنية ذكاء اصطناعي تدرب النماذج باستخدام الإجراءات والحالات والمكافآت: يتعلم وكلاء التعلم التعزيزي اتخاذ مجموعة من الإجراءات المحددة مسبقا التي تزيد من المكافآت المحددة بناء على الحالة الحالية لبيئتهم.

يحتوي مشروع Ray RLLib على مجموعة من الميزات التي تسمح بقابلية عالية للتوسع طوال عملية التدريب. العملية التكرارية كثيفة الوقت والموارد على حد سواء حيث يحاول وكلاء التعلم التعزيزي تعلم الطريقة المثلى لتحقيق مهمة. يدعم Ray RLLib أيضا أطر التعلم العميق مثل TensorFlow و PyTorch.

لمعرفة كيفية استخدام Ray RLLib مع Azure التعلم الآلي، راجع كيفية تدريب نموذج تعلم التعزيز.

مراقبة أداء النموذج: TensorBoard

يتطلب تدريب نموذج واحد أو عدة نماذج التصور والتفتيش للمقاييس المطلوبة للتأكد من أن النموذج يعمل كما هو متوقع. يمكنك استخدام TensorBoard في Azure التعلم الآلي لتتبع مقاييس التجربة وتصورها

الذكاء الاصطناعي المسؤول: الخصوصية والإنصاف

الحفاظ على خصوصية البيانات مع الخصوصية التفاضلية

لتدريب نموذج التعلم الآلي ، تحتاج إلى بيانات. في بعض الأحيان تكون هذه البيانات حساسة ، ومن المهم التأكد من أن البيانات آمنة وخاصة. الخصوصية التفاضلية هي تقنية للحفاظ على سرية المعلومات في مجموعة البيانات. لمعرفة المزيد، راجع المقالة حول الحفاظ على خصوصية البيانات.

تساعدك مجموعات أدوات الخصوصية التفاضلية مفتوحة المصدر مثل SmartNoiseفي الحفاظ على خصوصية البيانات في حلول Azure التعلم الآلي.

أطر للنماذج القابلة للتفسير والعادلة

تستخدم أنظمة التعلم الآلي في مجالات مختلفة من المجتمع مثل الخدمات المصرفية والتعليم والرعاية الصحية. على هذا النحو ، من المهم أن تكون هذه الأنظمة مسؤولة عن التنبؤات والتوصيات التي تقدمها لمنع العواقب غير المقصودة.

تعمل أطر العمل مفتوحة المصدر مثل InterpretML وFairlearn (https://github.com/fairlearn/fairlearn) مع Azure التعلم الآلي لإنشاء نماذج تعلم آلي أكثر شفافية وإنصافا.

لمزيد من المعلومات حول كيفية إنشاء نماذج عادلة وقابلة للتفسير، راجع المقالات التالية:

توزيع النموذج

بمجرد تدريب النماذج وجاهزيتها للإنتاج ، عليك اختيار كيفية نشرها. يوفر Azure التعلم الآلي أهداف نشر متنوعة. لمزيد من المعلومات، راجع المقالة مكان وكيفية النشر.

توحيد تنسيقات النماذج باستخدام ONNX

بعد التدريب ، يتم تسلسل محتويات النموذج مثل المعلمات المستفادة وحفظها في ملف. كل إطار له تنسيق تسلسل خاص به. عند العمل مع أطر وأدوات مختلفة ، فهذا يعني أنه يجب عليك نشر النماذج وفقا لمتطلبات الإطار. لتوحيد هذه العملية، يمكنك استخدام تنسيق Exchange الشبكة العصبية المفتوحة (ONNX). ONNX هو تنسيق مفتوح المصدر لنماذج الذكاء الاصطناعي. يدعم ONNX قابلية التشغيل البيني بين الأطر. هذا يعني أنه يمكنك تدريب نموذج في أحد أطر التعلم الآلي العديدة الشائعة مثل PyTorch ، وتحويله إلى تنسيق ONNX ، واستهلاك نموذج ONNX في إطار مختلف مثل ML.NET.

لمزيد من المعلومات حول ONNX وكيفية استهلاك طرز ONNX، راجع المقالات التالية:

حزم النماذج ونشرها كحاويات

تعد تقنيات الحاويات مثل Docker إحدى الطرق لنشر النماذج كخدمات ويب. توفر الحاويات منصة وطريقة لاأدرية للموارد لبناء وتنسيق بيئات البرامج القابلة للتكرار. باستخدام هذه التقنيات الأساسية، يمكنك استخدام البيئات التي تم تكوينها مسبقا أو صور الحاويات التي تم تكوينها مسبقا أو الصور المخصصة لنشر نماذج التعلم الآلي الخاصة بك مثل مجموعات Kubernetes. بالنسبة لمهام سير العمل المكثفة لوحدة معالجة الرسومات، يمكنك استخدام أدوات مثل خادم NVIDIA Triton Inference لإجراء تنبؤات باستخدام وحدات معالجة الرسومات.

عمليات نشر آمنة مع تشفير متجانس

ويشكل تأمين عمليات النشر جزءا هاما من عملية النشر. لنشر خدمات الاستدلال المشفرة، استخدم encrypted-inference مكتبة Python مفتوحة المصدر. توفر الحزمة encrypted inferencing روابط تستند إلى Microsoft SEAL، وهي مكتبة تشفير متجانسة.

عمليات التعلم الآلي (MLOps)

تتيح لك عمليات التعلم الآلي (MLOps) ، التي يعتقد عادة أنها DevOps للتعلم الآلي ، إنشاء سير عمل أكثر شفافية ومرونة وقابلية للتكرار. راجع مقالة ما هو MLOps لمعرفة المزيد حول MLOps .

باستخدام ممارسات DevOps مثل التكامل المستمر (CI) والنشر المستمر (CD) ، يمكنك أتمتة دورة حياة التعلم الآلي من البداية إلى النهاية والتقاط بيانات الحوكمة حولها. يمكنك تحديد خط أنابيب CI/CD للتعلم الآلي في إجراءات GitHub لتشغيل مهام التدريب والنشر في Azure التعلم الآلي.

يعد التقاط تبعيات البرامج والمقاييس والبيانات الوصفية والبيانات وإصدار النماذج جزءا مهما من عملية MLOps من أجل إنشاء خطوط أنابيب شفافة وقابلة للتكرار والتدقيق. لهذه المهمة، يمكنك استخدام MLFlow في Azure التعلم الآلي وكذلك عند تدريب نماذج التعلم الآلي في Azure Databricks. يمكنك أيضا نشر نماذج MLflow كخدمة ويب Azure.