Learning profonde Pipelines

Notes

cette page décrit le package open source profond Learning Pipelines inclus dans Databricks Runtime ML 6,6 et versions antérieures. Cette page n’est pas destinée à être une ressource pour obtenir des informations générales sur les pipelines d’apprentissage profond sur Azure Databricks.

le package deep Learning Pipelines est une infrastructure d’apprentissage profond de haut niveau qui facilite les flux de travail d’apprentissage profond courants via l’API Apache Spark MLlib Pipelines et qui met à l’échelle l’apprentissage profond sur Big Data à l’aide de Spark. Il s’agit d’un projet open source qui utilise la licence Apache 2,0.

la Learning profonde Pipelines package appelle les bibliothèques d’apprentissage profond de niveau inférieur. Il prend en charge TensorFlow et keras avec le backend TensorFlow.

Guide de migration vers Databricks Runtime 7.0 ML et ultérieur

Important

des parties de la bibliothèque profonde Learning Pipelines sparkdl ont été supprimées dans Databricks Runtime 7,0 ML (non pris en charge), en particulier les transformateurs et les estimateurs utilisés dans les pipelines Apache Spark ML. Consultez les sections suivantes pour obtenir des conseils et des solutions de contournement sur la migration.

Lire les images

le package Learning profond Pipelines comprend un lecteur d’images sparkdl.image.imageIO , qui a été supprimé dans Databricks Runtime 7,0 ML (non pris en charge).

À la place, utilisez la source de données image ou la source de données de fichier binaire à partir de Apache Spark. La plupart des exemples de bloc-notes dans les données de chargement montrent les cas d’utilisation de ces deux sources de données.

Transfer learning

le package Learning profond Pipelines comprend un transformateur Spark ML sparkdl.DeepImageFeaturizer pour faciliter le transfert d’apprentissage avec des modèles d’apprentissage profond. DeepImageFeaturizera été supprimé de Databricks Runtime 7,0 ML (non pris en charge).

Utilisez plutôt des fonctions définies par l’utilisateur pandas pour exécuter des caractérisation avec des modèles d’apprentissage profond. les fonctions définiespar l’utilisateur de pandas, et les nouvelles fonctions de la variante de l' itérateur scalaire pandas, offrent des API plus flexibles, prennent en charge des bibliothèques d’apprentissage approfondi et offrent des performances supérieures.

Pour obtenir des exemples de transfert d’apprentissage avec les fonctions définies par l’utilisateur pandas, consultez caractérisation for Transfer Learning .

Paramétrage distribué des hyperparamètres

le package Learning profond Pipelines comprend un estimateur de ML spark sparkdl.KerasImageFileEstimator pour le réglage des hyperparamètres à l’aide des utilitaires spark ML tuning. KerasImageFileEstimatora été supprimé de Databricks Runtime 7,0 ML (non pris en charge).

Au lieu de cela, utilisez le Paramétrage de l’hyperparamètre avec Hyperopt pour distribuer le paramétrage des hyperparamètres pour les modèles d’apprentissage profond.

Inférence distribuée

le package Learning profond Pipelines comprend plusieurs transformateurs Spark ML pour la distribution de l’inférence, tous supprimés dans Databricks Runtime 7,0 ML (non pris en charge):

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Utilisez plutôt les fonctions définies par l’utilisateur pandas pour exécuter l’inférence sur Spark trames, en suivant les exemples de l' inférence de modèle.

déployer des modèles en tant que fonctions définies par l’SQL

le package Learning profond Pipelines comprend un utilitaire sparkdl.udf.keras_image_model.registerKerasImageUDF de déploiement d’un modèle d’apprentissage profond en tant qu’UDF pouvant être appelé à partir d’Spark SQL. registerKerasImageUDFa été supprimé de Databricks Runtime 7,0 ML (non pris en charge).

Au lieu de cela, utilisez MLflow pour exporter le modèle en tant que fonction définie par l’exemple dans le déploiement du modèle scikit-learn sur Azure ml.