Deep Learning-pijplijnen

Notitie

Op deze pagina wordt het open source Deep Learning Pipelines-pakket beschreven dat is opgenomen in Databricks Runtime 6.6 ML en hieronder. Deze pagina is niet bedoeld als een resource voor algemene informatie over deep learning-pijplijnen op Azure Databricks.

Het Deep Learning Pipelines-pakket is een deep learning-framework op hoog niveau dat algemene deep learning-werkstromen mogelijk maakt via de Apache Spark MLlib Pipelines-API en deep learning uitschaalt op big data met behulp van Spark. Het is een open source-project dat gebruik maakt van Apache License 2.0.

Het Deep Learning Pipelines-pakket roept deep learning-bibliotheken op lager niveau aan. TensorFlow en Keras worden ondersteund met de TensorFlow-back-end.

Migratiehandleiding voor Databricks Runtime 7.0 ML en hoger

Belangrijk

Delen van de Deep Learning Pipelines-bibliotheek zijn verwijderd sparkdl in Databricks Runtime 7.0 ML (Niet ondersteund),met name de Voor- en Estimators die worden gebruikt in Apache Spark ML pijplijnen. Zie de volgende secties voor migratietips en tijdelijke oplossingen.

Afbeeldingen lezen

Het pakket Deep Learning Pipelines bevat een afbeeldingslezer die is verwijderd sparkdl.image.imageIO in Databricks Runtime 7.0 ML (Niet ondersteund).

Gebruik in plaats daarvan de afbeeldingsgegevensbron of binaire bestandsgegevensbron van Apache Spark. Veel van de voorbeeldnote notebooks in Gegevens laden tonen gebruiksvoorbeelden van deze twee gegevensbronnen.

Learning overdragen

Het Deep Learning Pipelines-pakket bevat een Spark ML Transformer voor het faciliteren van sparkdl.DeepImageFeaturizer leeroverdracht met Deep Learning-modellen. DeepImageFeaturizeris verwijderd in Databricks Runtime 7.0 ML (niet ondersteund).

Gebruik in plaats daarvan Pandas UDF's om featurization uit te voeren met Deep Learning-modellen. Pandas UFsen hun nieuwere variant Scalar Iterator pandas UFsbieden flexibelere API's, ondersteunen meer deep learning-bibliotheken en bieden betere prestaties.

Zie Featurization for transfer learning (Featurization voor leeroverdracht) voor voorbeelden van kennisoverdracht met pandas-UF's.

Gedistribueerde hyperparameterafstemming

Het Deep Learning Pipelines-pakket bevat een Spark ML Estimator voor het afstemmen van hyperparameters met behulp van sparkdl.KerasImageFileEstimator Spark ML-hulpprogramma's. KerasImageFileEstimatoris verwijderd in Databricks Runtime 7.0 ML (niet ondersteund).

Gebruik in plaats daarvan Hyperparameter-afstemming met Hyperopt om hyperparameterafstemming voor Deep Learning-modellen te distribueren.

Gedistribueerde deferentie

Het Deep Learning Pipelines-pakket bevat verschillende Spark ML Ators voor het distribueren van de deferentie, die allemaal worden verwijderd in Databricks Runtime 7.0 ML (Niet ondersteund):

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Gebruik in plaats daarvan pandas UFs om de deferentie uit te voeren op Spark DataFrames, volgens de voorbeelden in Modeldeference.

Modellen implementeren als SQL-UF's

Het Deep Learning Pipelines-pakket bevat een hulpprogramma voor het implementeren van een sparkdl.udf.keras_image_model.registerKerasImageUDF Deep Learning-model als een UDF-aanroepbaar vanuit Spark SQL. registerKerasImageUDFis verwijderd in Databricks Runtime 7.0 ML (niet ondersteund).

Gebruik in plaats daarvan MLflow om het model te exporteren als een UDF, volgens het voorbeeld in scikit-learn model deployment on Azure ML.