horovod.spark: التعلم العميق الموزع باستخدام Horovod

  • مقالة

يدعم Azure Databricks الحزمة horovod.spark ، والتي توفر واجهة برمجة تطبيقات المقدر التي يمكنك استخدامها في مسارات التعلم الآلي مع Keras وPyTorch. للحصول على التفاصيل، راجع Horovod على Spark، والذي يتضمن قسما حول Horovod على Databricks.

ملاحظه

  • يقوم Azure Databricks بتثبيت الحزمة horovod مع التبعيات. إذا قمت بترقية هذه التبعيات أو الرجوع إليها، فقد تكون هناك مشكلات في التوافق.
  • عند استخدام horovod.spark مع عمليات رد الاتصال المخصصة في Keras، يجب حفظ النماذج بتنسيق TensorFlow SaveModel.
    • باستخدام TensorFlow 2.x، استخدم اللاحقة .tf في اسم الملف.
    • باستخدام TensorFlow 1.x، قم بتعيين الخيار save_weights_only=True.

الاحتياجات

Databricks Runtime ML 7.4 أو أعلى.

امثله

فيما يلي مثال أساسي لتشغيل دالة تدريب موزعة باستخدام horovod.spark:

def train():
  import horovod.tensorflow as hvd
  hvd.init()

import horovod.spark
horovod.spark.run(train, num_proc=2)

أمثلة على دفاتر الملاحظات

توضح دفاتر الملاحظات هذه كيفية استخدام واجهة برمجة تطبيقات Horovod Spark Estimator مع Keras وPyTorch.

دفتر ملاحظات Horovod Spark Estimator Keras

الحصول على دفتر ملاحظات

دفتر ملاحظات PyTorch لمقدر Horovod Spark

الحصول على دفتر ملاحظات