Конвейеры глубокого обучения

Примечание

На этой странице описывается пакет с открытым исходным кодом для конвейеров глубокого обучения , который входит в DATABRICKS Runtime 6,6 ml и ниже. Эта страница не предназначена для получения общих сведений о конвейерах глубокого обучения на Azure Databricks.

Пакет "каналы глубокого обучения" — Это высокоуровневая платформа глубокого обучения, которая упрощает общие рабочие процессы глубокого обучения через API Apache Spark MLlib конвейеры и позволяет масштабировать глубокое обучение по большим данным с помощью Spark. Это проект с открытым исходным кодом, использующий лицензию Apache 2,0.

Конвейеры глубокого обучения упаковывают вызовы в библиотеки глубокого обучения более низкого уровня. Он поддерживает TensorFlow и keras с серверной частью TensorFlow.

Руководство по миграции в Databricks Runtime 7.0 ML и более поздних версий

Важно!

Части библиотеки конвейеров глубокого обучения sparkdl были удалены в DATABRICKS Runtime 7,0 ml (не поддерживается), в частности, преобразователей и оценивающих, используемых в конвейерах машинного обучения Apache Spark. Советы и решения по миграции см. в следующих разделах.

Чтение образов

Пакет "каналы глубокого обучения" включает средство чтения изображений sparkdl.image.imageIO , которое было удалено в DATABRICKS Runtime 7,0 ml (не поддерживается).

Вместо этого используйте источник данных Image или источник данных двоичного файла из Apache Spark. Многие из примеров записных книжек в Load Data показывают варианты использования этих двух источников данных.

Перенос обучения

Пакет "конвейеры глубокого обучения" включает в себя преобразователь Spark ML, который sparkdl.DeepImageFeaturizer упрощает обучение с помощью моделей глубокого обучения. DeepImageFeaturizer был удален в Databricks Runtime 7,0 ml (не поддерживается).

Вместо этого используйте пользовательские функции Pandas для выполнения Добавление признаков с моделями глубокого обучения. Pandas UDFи их новые разновидности скалярных функций Pandas, предлагают более гибкие интерфейсы API, поддерживают более глубокие библиотеки обучения и обеспечивают более высокую производительность.

Примеры перевода с помощью пользовательских функций Pandas см. в статье Добавление признаков for relearning .

Настройка распределенных параметров

Пакет "конвейеры глубокого обучения" включает в себя оценку Spark ML sparkdl.KerasImageFileEstimator для настройки параметров с помощью служебных программ для настройки машинного обучения Spark. KerasImageFileEstimator был удален в Databricks Runtime 7,0 ml (не поддерживается).

Вместо этого используйте настройку параметров с помощью хиперопт для распространения настройки параметров для моделей глубокого обучения.

Распределенное определение

Пакет "конвейеры глубокого обучения" включает несколько преобразователей Spark ML для распределения вывода, все из которых удаляются в Databricks Runtime 7,0 ml (не поддерживается):

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

Вместо этого используйте пользовательские функции Pandas для выполнения вывода в кадрах данных Spark, следуя примерам в определении модели.

Развертывание моделей в качестве пользовательских функций SQL

Пакет «конвейеры глубокого обучения» включает в себя программу sparkdl.udf.keras_image_model.registerKerasImageUDF для развертывания модели глубокого обучения в виде UDF, вызываемой из Spark SQL. registerKerasImageUDF был удален в Databricks Runtime 7,0 ml (не поддерживается).

Вместо этого используйте млфлов для экспорта модели в качестве определяемой пользователем функции, следуя примеру в scikit. изучение развертывания модели в машинном обучении Azure.