Przewodnik migracji potoków głębokiego Edukacja
Ważne
Ta dokumentacja została wycofana i może nie zostać zaktualizowana. Produkty, usługi lub technologie wymienione w tej zawartości nie są już obsługiwane. Zobacz AI and Machine Edukacja on Databricks (Sztuczna inteligencja i maszyna Edukacja w usłudze Databricks).
Ta strona zawiera porady dotyczące migracji z pakietu Deep Edukacja Pipelines typu open source, który został uwzględniony w środowisku Databricks Runtime 6.6 ML i poniżej. Części biblioteki sparkdl Deep Edukacja Pipelines zostały usunięte w środowisku Databricks Runtime 7.0 ML (nieobsługiwane), w szczególności transformatory i narzędzia do szacowania używane w potokach usługi Apache Spark ML.
Ta strona nie jest zasobem do ogólnych informacji na temat potoków uczenia głębokiego w usłudze Azure Databricks.
Odczytywanie obrazów
Pakiet Deep Edukacja Pipelines zawiera czytnik sparkdl.image.imageIOobrazów, który został usunięty w środowisku Databricks Runtime 7.0 ML (nieobsługiwany).
Zamiast tego użyj źródła danych obrazu lub źródła danych pliku binarnego z platformy Apache Spark. Wiele przykładowych notesów w temacie Ładowanie danych na potrzeby uczenia maszynowego i uczenia głębokiego pokazuje przypadki użycia tych dwóch źródeł danych.
Uczenie z użyciem transferu
Pakiet Deep Edukacja Pipelines zawiera transformator sparkdl.DeepImageFeaturizer spark ML umożliwiający uczenie transferowe za pomocą modeli uczenia głębokiego. DeepImageFeaturizer został usunięty w środowisku Databricks Runtime 7.0 ML (nieobsługiwane).
Zamiast tego należy używać funkcji zdefiniowanych przez użytkownika biblioteki pandas do wykonywania cech z modelami uczenia głębokiego. Funkcje zdefiniowane przez użytkownika biblioteki pandas i ich nowszy wariant scalar iterator pandas udf oferują bardziej elastyczne interfejsy API, obsługują więcej bibliotek uczenia głębokiego i zapewniają lepszą wydajność.
Zobacz Cechowanie na potrzeby uczenia transferowego, aby zapoznać się z przykładami uczenia transferowego przy użyciu funkcji zdefiniowanych przez użytkownika biblioteki pandas.
Dostrajanie hiperparametrów rozproszonych
Pakiet Deep Edukacja Pipelines zawiera narzędzie sparkdl.KerasImageFileEstimator do szacowania uczenia maszynowego Spark do dostrajania hiperparametrów przy użyciu narzędzi dostrajania uczenia maszynowego Spark. KerasImageFileEstimator został usunięty w środowisku Databricks Runtime 7.0 ML (nieobsługiwane).
Zamiast tego użyj dostrajania hiperparametrów za pomocą funkcji Hyperopt , aby dystrybuować dostrajanie hiperparametrów dla modeli uczenia głębokiego.
Wnioskowanie rozproszone
Pakiet Deep Edukacja Pipelines zawiera kilka transformatorów Spark ML do dystrybucji wnioskowania, z których wszystkie zostały usunięte w środowisku Databricks Runtime 7.0 ML (nieobsługiwane):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Zamiast tego użyj funkcji zdefiniowanych przez użytkownika biblioteki pandas , aby uruchomić wnioskowanie na ramkach danych platformy Spark, postępując zgodnie z przykładami w temacie Wdrażanie modeli na potrzeby wnioskowania i przewidywania wsadowego.
Wdrażanie modeli jako funkcji zdefiniowanych przez użytkownika SQL
Pakiet Deep Edukacja Pipelines zawiera narzędzie sparkdl.udf.keras_image_model.registerKerasImageUDF do wdrażania modelu uczenia głębokiego jako funkcji zdefiniowanej przez użytkownika wywoływanej z usługi Spark SQL. registerKerasImageUDF został usunięty w środowisku Databricks Runtime 7.0 ML (nieobsługiwane).
Zamiast tego użyj biblioteki MLflow , aby wyeksportować model jako funkcję UDF, postępując zgodnie z przykładem wdrożenia modelu scikit-learn w usłudze Azure ML.