خطوط أنابيب Learning العميقة

ملاحظة

توضح هذه الصفحة حزمة خطوط أنابيب deep Learning المصدر المفتوح المضمنة في Databricks Runtime 6.6 ML وما دونها. هذه الصفحة غير مخصصة كمورد للحصول على معلومات عامة حول خطوط أنابيب التعلم العميق على Azure Databricks.

حزمة خطوط أنابيب deep Learning هي إطار تعلم عميق رفيع المستوى يسهل سير عمل التعلم العميق المشترك عبر API خطوط أنابيب Apache Spark MLlib ويعمق التعلم العميق على البيانات الضخمة باستخدام Spark. وهو مشروع مفتوح المصدر يستخدم رخصة أباتشي 2.0.

تدعو حزمة خطوط أنابيب Learning العميقة إلى مكتبات التعلم العميق ذات المستوى الأدنى. وهو يدعم TensorFlow وكيراس مع الخلفية TensorFlow.

دليل الهجرة إلى Databricks وقت التشغيل 7.0 مل وما فوق

هام

تمت إزالة أجزاء من مكتبة خطوط أنابيب Learning العميق sparkdl في sparkdl، على وجه التحديد ، المحولات والمقدرات المستخدمة في خطوط أنابيب Apache Spark ML. راجع المقاطع التالية للحصول على تلميحات الترحيل والحلول.

قراءة الصور

تتضمن حزمة خطوط أنابيب Learning العميق قارئ صور sparkdl.image.imageIO ، تمت إزالته في sparkdl.image.imageIO

بدلا من ذلك، استخدم مصدر بيانات الصورة أو مصدر بيانات الملف الثنائي من Apache Spark. تظهر العديد من دفاتر الملاحظات المثال في تحميل البيانات حالات استخدام هذه مصادر البيانات اثنين.

نقل التعلم

تتضمن حزمة خطوط أنابيب Deep Learning محول Spark ML sparkdl.DeepImageFeaturizer لتسهيل التعلم المنقول مع نماذج التعلم العميق. DeepImageFeaturizerتمت إزالة في DeepImageFeaturizer

بدلا من ذلك، استخدم الباندا UDFs لأداء التميز مع نماذج التعلم العميق. الباندا UDFs، وأحدث البديل Scalar Iterator الباندا UDFs، وتقديم واجهات برمجة التطبيقات أكثر مرونة ، ودعم مكتبات التعلم أكثر عمقا ، وإعطاء أداء أعلى.

انظر التمين لنقل التعلم للحصول على أمثلة من التعلم نقل مع الباندا UDFs.

ضبط الإفراط في قياس المتر الموزع

تتضمن حزمة خطوط أنابيب Learning Deep مقدر Spark ML sparkdl.KerasImageFileEstimator لضبط المقاييس الفائقة باستخدام أدوات ضبط Spark ML. KerasImageFileEstimatorتمت إزالة في KerasImageFileEstimator

بدلا من ذلك، استخدم ضبط Hyperparameter مع Hyperopt لتوزيع ضبط الفرط في قياس المقاييس لنماذج التعلم العميق.

الاستدلال الموزع

تتضمن حزمة خطوط أنابيب deep Learning عدة محولات Spark ML لتوزيع الاستدلال ، وكلها تتم إزالتها في Databricks Runtime 7.0 ML (غير مدعوم):

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

بدلا من ذلك، استخدم الباندا UDFs لتشغيل الاستدلال على Spark DataFrames، باتباع الأمثلة في استنتاج النموذج.

نشر النماذج SQL UDFs

تتضمن حزمة خطوط أنابيب deep Learning أداة sparkdl.udf.keras_image_model.registerKerasImageUDF لنشر نموذج تعلم عميق ك UDF يمكن الاتصال به من Spark SQL. registerKerasImageUDFتمت إزالة في registerKerasImageUDF

بدلا من ذلك، استخدم MLflow لتصدير النموذج ك UDF، على غرار نشر نموذج scikit-learn على Azure ML.