Djup Learning pipelines

Anteckning

Den här sidan beskriver paketet Deep Learning Pipelines med öppen källkod som ingår i Databricks Runtime 6.6 ML och nedan. Den här sidan är inte avsedd som en resurs för allmän information om pipelines för djupinlärning Azure Databricks.

Deep Learning Pipelines-paketet är ett högnivåramverk för djupinlärning som underlättar vanliga arbetsflöden för djupinlärning via API:et för Apache Spark MLlib-pipelines och skalar ut djupinlärning på stordata med Spark. Det är ett projekt med öppen källkod som använder Apache License 2.0.

Paketet Deep Learning Pipelines anropar djupinlärningsbibliotek på lägre nivå. Den stöder TensorFlow och Keras med TensorFlow-backend.

Migreringsguide för Databricks Runtime 7.0 ML och senare

Viktigt

Delar av biblioteket Deep Learning Pipelines har tagits bort sparkdlsparkdl, mer specifikt de transformerar och beräknare som används i Apache Spark ML-pipelines. Se följande avsnitt för migreringstips och lösningar.

Läsa bilder

Paketet Deep Learning Pipelines innehåller en bildläsare , som togs bort sparkdl.image.imageIOsparkdl.image.imageIO

Använd i stället bilddatakällan eller den binära fildatakällan från Apache Spark. Många av exempelanteckningsböckerna i Läs in data visar användningsfall för dessa två datakällor.

Överföra utbildning

Paketet Deep Learning Pipelines innehåller en Spark ML Transformer för att sparkdl.DeepImageFeaturizer underlätta överföringsinlärning med djupinlärningsmodeller. DeepImageFeaturizertogs bort i DeepImageFeaturizer

Använd i stället Pandas-UDF:er för att utföra featurisering med djupinlärningsmodeller. Pandas-UDF:er,och deras nyare variant Scalar Iterator Pandas-UDF:er,erbjuder mer flexibla API:er, stöder fler djupinlärningsbibliotek och ger högre prestanda.

Se Featurisering för överföringsinlärning för exempel på överföringsinlärning med Pandas-UDF:er.

Distribuerad justering av hyperparametrar

Paketet Deep Learning Pipelines innehåller en Spark ML beräknare för justering av hyperparametrar med sparkdl.KerasImageFileEstimator hjälp av Spark ML justeringsverktyg. KerasImageFileEstimatortogs bort i KerasImageFileEstimator

Använd i stället Hyperparameterjustering med Hyperopt för att distribuera hyperparameterjustering för djupinlärningsmodeller.

Distribuerad slutsatsledning

Deep Learning Pipelines-paketet innehåller flera Spark ML Transformers för att distribuera slutsatsledning, som alla tas bort i Databricks Runtime 7.0 ML (stöds inte):

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Använd i stället Pandas-UDF:er för att köra inferens på Spark DataFrames, enligt exemplen i Modellferens.

Distribuera modeller som SQL-UDF:er

Paketet Deep Learning Pipelines innehåller ett verktyg för att distribuera en djupinlärningsmodell som sparkdl.udf.keras_image_model.registerKerasImageUDF en UDF-anropningsbar från Spark SQL. registerKerasImageUDFtogs bort i registerKerasImageUDF

Använd i stället MLflow för att exportera modellen som en UDF, enligt exemplet i modelldistributionen scikit-learn på Azure ML.