Rörledningar för djup inlärning

Anteckning

På den här sidan beskrivs det paket med djup inlärnings paketet med öppen källkod som ingår i DATABRICKS runtime 6,6 ml och nedan. Den här sidan är inte avsedd som en resurs för allmän information om djup inlärnings pipeliner på Azure Databricks.

Pipelinen för djup inlärning är ett högnivå djup inlärnings ramverk som underlättar vanliga arbets flöden för djup inlärning via Apache Spark MLlib-API: er och skalar upp djup inlärningen för Big data med Spark. Det är ett projekt med öppen källkod som använder Apache 2,0-licensen.

Pipelinen i djup inlärningen anropar ett djup inlärnings bibliotek på lägre nivå. Den stöder TensorFlow och keras med TensorFlow-backend-servern.

Migreringsguide för Databricks Runtime 7.0 ML och senare

Viktigt

Delar av pipelinen för djup inlärning sparkdl har tagits bort i DATABRICKS runtime 7,0 ml, särskilt de transformatorer och uppskattningar som används i Apache Spark ml-pipelines. I följande avsnitt finns tips om migrering och lösningar.

Läser bilder

Pipelinen för djup inlärning innehåller en bild läsare sparkdl.image.imageIO , som togs bort i DATABRICKS runtime 7,0 ml.

Använd i stället bild data källan eller data källan binary File från Apache Spark. Många av exempel antecknings böckerna i läsa in data visar användnings fall för dessa två data källor.

Överföra utbildning

Pipelinen för djup inlärning innehåller en spark ML-transformator sparkdl.DeepImageFeaturizer för att under lätta överförings inlärningen med djup inlärnings modeller. DeepImageFeaturizer togs bort i Databricks Runtime 7,0 ml.

Använd i stället Pandas-UDF: er för att utföra funktionalisering med djup inlärnings modeller. Pandas UDF: eroch deras nyare variant skalär iterator Pandas UDF: er, erbjuder mer flexibla API: er, stöder fler djup inlärnings bibliotek och ger högre prestanda.

I funktionalisering för överförings utbildning hittar du exempel på överförings inlärning med Pandas UDF: er.

Justering av distribuerad grundparameter

Paketet för djup inlärning i pipelinen innehåller en spark ML-uppskattning sparkdl.KerasImageFileEstimator för justering av disponeringsparametrarna med hjälp av Spark ml-justerings verktyg. KerasImageFileEstimator togs bort i Databricks Runtime 7,0 ml.

Använd i stället parameter justering med Hyperopt för att distribuera en inställning för att anpassa en djup inlärnings modell.

Distribuerad härledning

Pipelinen för djup inlärning innehåller flera Spark ML-transformatorer för att distribuera en härledning, som tas bort i Databricks Runtime 7,0 ml:

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Använd i stället Pandas UDF: er för att köra en härledning på Spark-DataFrames, enligt exemplen i modellens härledning.

Distribuera modeller som SQL-UDF: er

Paketet för djup inlärning i pipelinen innehåller ett verktyg sparkdl.udf.keras_image_model.registerKerasImageUDF för att distribuera en djup inlärnings modell som en UDF-anrops funktion från Spark SQL. registerKerasImageUDF togs bort i Databricks Runtime 7,0 ml.

Använd i stället MLflow för att exportera modellen som en UDF-modul som följer exemplet i scikit-lär dig modell distribution på Azure ml.