: Horovod を使用したディープラーニング horovod.spark の分散

Azure Databricks は、 horovod.spark Keras および PyTorch で ML パイプラインで使用できる、推定 API を提供するパッケージをサポートしています。 詳細については、「 Horovod On Spark」を参照してください。これには、 Databricks の Horovodに関するセクションが含まれています。

注意

  • Azure Databricks horovod 依存関係を含むパッケージをインストールします。 これらの依存関係をアップグレードまたはダウングレードすると、互換性の問題が発生する可能性があります。
  • Keras でカスタムコールバックと共にを使用する場合は、モデルを保存するためには、保存されている場合は、 horovod.spark SavedModel 形式で保存する必要があります。
    • この場合、[ .tf ファイル名] でサフィックスを使用します。
    • この場合、オプションを設定します save_weights_only=True

必要条件

Databricks Runtime ML 7.4 以上。

これらの notebook は、Keras と PyTorch で Horovod Spark 推定 API を使用する方法を示しています。

Horovod Spark 推定 Keras notebook

ノートブックを入手

Horovod Spark 推定 PyTorch notebook

ノートブックを入手