Derin öğrenme işlem hatları

Not

Bu sayfada, Databricks Runtime 6,6 ML ve aşağıda yer alan açık kaynak derin öğrenme Işlem hatları paketi açıklanmaktadır. Bu sayfa, Azure Databricks derin öğrenme işlem hatları hakkında genel bilgiler için kaynak olarak tasarlanmamıştır.

Derin öğrenme işlem hatları paketi, Apache Spark MLlib işlem hattı API 'SI aracılığıyla yaygın derin öğrenme iş akışlarını kolaylaştıran ve Spark kullanarak büyük verileri derinlemesine öğrenmeyi ölçeklendirerek yüksek düzeyde bir ayrıntılı öğrenme çerçevesidir. Apache lisans 2,0' i kullanan açık kaynaklı bir projem.

Derin öğrenme işlem hatları paketi, alt düzey derin öğrenme kitaplıklarına çağrı yapılır. TensorFlow arka ucu ile TensorFlow ve keras 'yi destekler.

Databricks Runtime 7.0 ML ve üzeri sürümlere geçiş kılavuzu

Önemli

Derin öğrenme işlem hatları Kitaplığı sparkdl DATABRICKS RUNTIME 7,0 ml (desteklenmeyen), özellıkle de Apache Spark ml işlem hatları 'nda kullanılan dönüştürücüler ve estimators 'ın bir parçası kaldırılmıştır. Geçiş ipuçları ve geçici çözümler için aşağıdaki bölümlere bakın.

Görüntüleri oku

Derin öğrenme işlem hatları paketi sparkdl.image.imageIO , DATABRICKS RUNTIME 7,0 ml (desteklenmeyen)' de kaldırılmış bir görüntü okuyucu içerir.

Bunun yerine, Apache Spark ' dan görüntü veri kaynağını veya ikili dosya veri kaynağını kullanın. Yükleme verilerinde örnek Not defterlerinin birçoğu, bu iki veri kaynağının kullanım örneklerini gösterir.

Öğrenmeyi aktarma

Derin öğrenme işlem hatları paketi, sparkdl.DeepImageFeaturizer derin öğrenme modelleriyle aktarım öğrenimini kolaylaştırmaya yönelik bir Spark ml transformatörü içerir. DeepImageFeaturizerDatabricks Runtime 7,0 ml (desteklenmeyen)sürümünde kaldırılmıştır.

Bunun yerine, derin öğrenme modelleriyle korbir seçim yapmak için Pandas UDF 'Leri kullanın. Pandas UDF'leri ve daha yeni değişken skaler Yineleyici Pandas UDF'Leri, daha esnek API 'ler sunar, daha derin öğrenme kitaplıklarını destekler ve daha yüksek performans sağlar.

Pandas UDF 'ler ile aktarım öğrenimi örnekleri için Aktarım öğrenimine yönelik olarak bakın.

Dağıtılmış hiper parametre ayarlama

Derin öğrenme işlem hatları paketi, sparkdl.KerasImageFileEstimator Spark ml ayarlama yardımcı programlarını kullanarak hiper parametreleri ayarlamak için bir Spark ml Estimator içerir. KerasImageFileEstimatorDatabricks Runtime 7,0 ml (desteklenmeyen)sürümünde kaldırılmıştır.

Bunun yerine, ayrıntılı öğrenme modelleri için hiper parametre ayarlamayı dağıtmak üzere Hyperopt Ile hiper parametre ayarlamayı kullanın.

Dağıtılmış çıkarım

Derin öğrenme işlem hatları paketi, Databricks Runtime 7,0 ml (desteklenmeyen)' de çıkarılan çıkarımı Için ÇEŞITLI Spark ml dönüştürücüler içerir:

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Bunun yerine, model çıkarımıiçindeki örnekleri Izleyerek Spark veri çerçevelerinden çıkarımı çalıştırmak için Pandas UDF 'leri kullanın.

Modelleri SQL UDF 'Leri olarak dağıtma

Derin öğrenme işlem hatları paketi, sparkdl.udf.keras_image_model.registerKerasImageUDF Spark SQL 'den çağrılabilir BIR UDF olarak derin öğrenme modeli dağıtmaya yönelik bir yardımcı program içerir. registerKerasImageUDFDatabricks Runtime 7,0 ml (desteklenmeyen)sürümünde kaldırılmıştır.

Bunun yerine, modeli bir UDF olarak dışarı aktarmak için Mlflow kullanın; Azure ML 'de model dağıtımı hakkında bilgi edinin.