Конструирование признаков для передачи обучения
В этой статье приведен пример создания признаков для передачи обучения с помощью определяемых пользователем pandas UDFs.
Признаки для передачи обучения в моделях DL
Azure Databricks поддерживает добавление признаков с помощью моделей глубокого обучения. Предварительно обученные модели глубокого обучения можно использовать для вычислений функций для использования в других подчиненных моделях. Azure Databricks поддерживает добавление признаков в большом масштабе, распределяя вычисления в пределах кластера. Вы можете выполнять конструирование признаков с использованием библиотек глубокого обучения в Databricks Runtime ML, включая TensorFlow и PyTorch.
Azure Databricks также поддерживает перенос обучения — методику, которая тесно связана с добавлением признаков. С помощью переноса обучения можно повторно использовать знания из одного связанного домена в другом. Добавление признаков — это простой и мощный способ переноса обучения, когда вычислительные функции, использующие предварительно обученную модель глубокого обучения, передают знания о подходящих признаках из исходного домена.
Действия по вычислению функций для передачи обучения
В этой статье показано, как вычислить признаки для передачи обучения с использованием предварительно обученной модели TensorFlow и следующего рабочего процесса:
- Возьмите за основу предварительно обученную модель глубокого обучения, в данном случае — модель классификации изображений из
tensorflow.keras.applications. - Усеките последние слои модели. Измененная модель вместо прогноза в качестве выходных данных создает тензор признаков.
- Примените эту модель к новому набору данных изображений из другой предметной области для вычисления признаков для изображений.
- Используйте эти признаки для обучения новой модели. В следующей записной книжке этот заключительный шаг опущен. Примеры обучения простой модели, например логистической регрессии, см . в примерах обучения модели.
Пример. Использование определяемых пользователем pandas UDFs для определения признаков
В следующей записной книжке для выполнения шага "Конструирование признаков" применяются пользовательские функции pandas. Пользовательские функции pandas и их новые разновидности, скалярные итераторы, реализуют гибкие API, поддерживают любую библиотеку глубокого обучения и обеспечивают высокую производительность.