Kanály pro hloubkové učení

Poznámka

Tato stránka popisuje balíček open source kanálů pro hloubkové učení , který je součástí DATABRICKS runtime 6,6 ml a nižší. Tato stránka není určená jako prostředek pro obecné informace o kanálech hloubkového učení na Azure Databricks.

Balíček kanálu pro hloubkové učení je špičkovou architekturou pro hloubkové učení, která usnadňuje běžné pracovní postupy pro hloubkové učení prostřednictvím rozhraní API Apache Sparkch kanálů MLlib a škáluje hloubkové učení s velkými objemy dat pomocí Sparku. Je to open source projekt, který používá licenci Apache 2,0.

Balíček s obsáhlými studijními kanály volá do knihoven hloubkového učení na nižší úrovni. Podporuje TensorFlow a Keras s back-endu TensorFlow.

Průvodce migrací na Databricks Runtime 7.0 ML a vyšší

Důležité

Části knihovny pro kanály hloubkového učení se sparkdl odebraly v DATABRICKS Runtime 7,0 ml (nepodporované), konkrétně na transformátory a odhady, které se používají v kanálech Apache Spark ml. V následujících částech najdete tipy a alternativní řešení migrace.

Čtení imagí

Balíček s obsáhlými studijními kanály obsahuje čtečku obrázků sparkdl.image.imageIO , která se odebrala v DATABRICKS Runtime 7,0 ml (nepodporované).

Místo toho použijte zdroj dat obrázku nebo binární soubor zdroje dat z Apache Spark. Mnohé z ukázkových poznámkových bloků v části načíst data ukazují případy použití těchto dvou zdrojů dat.

Přenos učení

Balíček informující o kanálech pro hloubkové učení obsahuje transformátor Spark ML, který sparkdl.DeepImageFeaturizer usnadňuje přenos kurzů pomocí modelů hloubkového učení. DeepImageFeaturizer bylo odebráno ve Databricks Runtime 7,0 ml (Nepodporováno).

Místo toho použijte PANDAS UDF k provádění featurization s modely hloubkového učení. PANDAS UDFa jejich novější variantní skalární iterátor PANDAS UDF, nabízejí pružnější rozhraní API, podporují hlubší výukové knihovny a poskytují vyšší výkon.

Příklady učení přenosu s PANDAS UDF najdete v tématu Featurization for Transfer .

Distribuované ladění parametrů

Balíček s obsáhlými studijními kanály obsahuje Spark ML Estimator sparkdl.KerasImageFileEstimator pro ladění parametrů pomocí nástrojů pro vyladění Spark ml. KerasImageFileEstimator bylo odebráno ve Databricks Runtime 7,0 ml (Nepodporováno).

Místo toho použijte ladění pomocí parametrů s Hyperopt k distribuci parametrů ladění pro modely hloubkového učení.

Distribuované odvození

Balíček s podrobnými studijními kanály obsahuje několik transformátorů Spark ML pro distribuci odvození, přičemž všechny z nich se odeberou v Databricks Runtime 7,0 ml (nepodporované):

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Místo toho použijte PANDAS UDF pro spuštění odvození v datarámečcích Spark, a to za příklady v odvození modelu.

Nasazení modelů jako SQL UDF

Balíček s obsáhlými studijními kanály obsahuje nástroj sparkdl.udf.keras_image_model.registerKerasImageUDF pro nasazení modelu hloubkového učení jako systému souborů UDF, který je na Spark SQL volat. registerKerasImageUDF bylo odebráno ve Databricks Runtime 7,0 ml (Nepodporováno).

Místo toho pomocí MLflow exportujte model jako UDF, a to podle příkladu v nasazení modelu scikit-učení v Azure ml.