Pipelines d' apprentissage profond Deep Learning Pipelines

Notes

Cette page décrit le package des pipelines d’apprentissage profond Open source inclus dans DATABRICKS Runtime 6,6 ml et versions antérieures.This page describes the open source Deep Learning Pipelines package included in Databricks Runtime 6.6 ML and below. Cette page n’est pas destinée à être une ressource pour obtenir des informations générales sur les pipelines d’apprentissage profond sur Azure Databricks.This page is not intended as a resource for general information about deep learning pipelines on Azure Databricks.

Le package pipeline d’apprentissage profond est une infrastructure d’apprentissage profond de haut niveau qui facilite Apache Spark les flux de travail d’apprentissage profond courants via l’API de pipelines MLlib et met à l’échelle l’apprentissage profond sur Big Data à l’aide de Spark.The Deep Learning Pipelines package is a high-level deep learning framework that facilitates common deep learning workflows via the Apache Spark MLlib Pipelines API and scales out deep learning on big data using Spark. Il s’agit d’un projet open source qui utilise la licence Apache 2,0.It is an open source project employing the Apache 2.0 License.

Le package pipelines d’apprentissage profond appelle les bibliothèques d’apprentissage profond de niveau inférieur.The Deep Learning Pipelines package calls into lower-level deep learning libraries. Il prend en charge TensorFlow et keras avec le backend TensorFlow.It supports TensorFlow and Keras with the TensorFlow backend.

Guide de migration vers Databricks Runtime 7.0 ML et ultérieurMigration guide to Databricks Runtime 7.0 ML and above

Important

Des parties de la bibliothèque de pipelines d’apprentissage profond sparkdl ont été supprimées dans DATABRICKS Runtime 7,0 ml, en particulier les transformateurs et les estimateurs utilisés dans les pipelines de Apache Spark ml.Parts of the Deep Learning Pipelines library sparkdl have been removed in Databricks Runtime 7.0 ML, specifically, the Transformers and Estimators used in Apache Spark ML pipelines. Consultez les sections suivantes pour obtenir des conseils et des solutions de contournement sur la migration.See the following sections for migration tips and workarounds.

Lire des imagesReading images

Le package pipelines d’apprentissage profond comprend un lecteur d’images sparkdl.image.imageIO , qui a été supprimé dans Databricks Runtime ML 7,0 ml.The Deep Learning Pipelines package includes an image reader sparkdl.image.imageIO, which was removed in Databricks Runtime 7.0 ML.

À la place, utilisez la source de données image ou la source de données de fichier binaire à partir de Apache Spark.Instead, use the image data source or binary file data source from Apache Spark. La plupart des exemples de bloc-notes dans les données de chargement montrent les cas d’utilisation de ces deux sources de données.Many of the example notebooks in Load data show use cases of these two data sources.

Transfer learningTransfer learning

Le package pipelines d’apprentissage profond comprend un transformateur Spark ML sparkdl.DeepImageFeaturizer pour faciliter le transfert d’apprentissage avec des modèles d’apprentissage profond.The Deep Learning Pipelines package includes a Spark ML Transformer sparkdl.DeepImageFeaturizer for facilitating transfer learning with deep learning models. DeepImageFeaturizer a été supprimé dans DATABRICKS Runtime ML 7,0.DeepImageFeaturizer was removed in Databricks Runtime 7.0 ML.

Utilisez plutôt des fonctions définies par l’utilisateur pandas pour exécuter des caractérisation avec des modèles d’apprentissage profond.Instead, use pandas UDFs to perform featurization with deep learning models. les fonctions définiespar l’utilisateur de pandas, et les nouvelles fonctions de la variante de l' itérateur scalaire pandas, offrent des API plus flexibles, prennent en charge des bibliothèques d’apprentissage approfondi et offrent des performances supérieures.pandas UDFs, and their newer variant Scalar Iterator pandas UDFs, offer more flexible APIs, support more deep learning libraries, and give higher performance.

Reportez-vous à caractérisation for Transfer Learning pour obtenir des exemples de transfert d’apprentissage avec les fonctions définies par l’utilisateur pandas.Refer to Featurization for transfer learning for examples of transfer learning with pandas UDFs.

Paramétrage distribué des hyperparamètresDistributed hyperparameter tuning

Le package pipelines d’apprentissage profond comprend un estimateur Spark ML sparkdl.KerasImageFileEstimator pour l’optimisation des hyperparamètres à l’aide des utilitaires de réglage Spark ml.The Deep Learning Pipelines package includes a Spark ML Estimator sparkdl.KerasImageFileEstimator for tuning hyperparameters using Spark ML tuning utilities. KerasImageFileEstimator a été supprimé dans DATABRICKS Runtime ML 7,0.KerasImageFileEstimator was removed in Databricks Runtime 7.0 ML.

Au lieu de cela, utilisez le Paramétrage de l’hyperparamètre avec Hyperopt pour distribuer le paramétrage des hyperparamètres pour les modèles d’apprentissage profond.Instead, use Hyperparameter tuning with Hyperopt to distribute hyperparameter tuning for deep learning models.

Inférence distribuéeDistributed inference

Le package pipelines d’apprentissage profond comprend plusieurs transformateurs Spark ML pour la distribution de l’inférence, tous retirés dans Databricks Runtime ML 7,0 ml:The Deep Learning Pipelines package includes several Spark ML Transformers for distributing inference, all of which are removed in Databricks Runtime 7.0 ML:

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Utilisez plutôt les fonctions définies par l’utilisateur pandas pour exécuter l’inférence sur Spark trames, en suivant les exemples de l' inférence de modèle.Instead, use pandas UDFs to run inference on Spark DataFrames, following the examples in Model inference.

Déployer des modèles en tant que fonctions définies par l’utilisateur SQLDeploy models as SQL UDFs

Le package pipelines d’apprentissage profond comprend un utilitaire sparkdl.udf.keras_image_model.registerKerasImageUDF pour le déploiement d’un modèle d’apprentissage profond comme UDF pouvant être appelé à partir de Spark SQL.The Deep Learning Pipelines package includes a utility sparkdl.udf.keras_image_model.registerKerasImageUDF for deploying a deep learning model as a UDF callable from Spark SQL. registerKerasImageUDF a été supprimé dans DATABRICKS Runtime ML 7,0.registerKerasImageUDF was removed in Databricks Runtime 7.0 ML.

Au lieu de cela, utilisez MLflow pour exporter le modèle en tant que fonction définie par l’exemple dans le déploiement du modèle scikit-Learn sur Azure ml.Instead, use MLflow to export the model as a UDF, following the example in scikit-learn model deployment on Azure ML.