Краткое руководство по Python

Платформа MLflow с открытым кодом предназначена для управления жизненным циклом машинного обучения на всем его протяжении. Млфлов предоставляет простые API для ведения журнала метрик (например, потери модели), параметры (например, скорость обучения) и модели размещения, что упрощает анализ результатов обучения или развертывание моделей позже.

В этом разделе рассматриваются следующие вопросы.

Установка Млфлов

Если вы используете Databricks Runtime для машинное обучение, млфлов уже установлен. В противном случае установите пакет млфлов из PyPI.

Автоматическая регистрация запусков обучения в Млфлов

Млфлов предоставляет mlflow.<framework>.autolog() API-интерфейсы для автоматического ведения журнала обучения, написанного во многих платформах ml. Этот API можно вызвать перед запуском кода обучения для регистрации метрик, параметров и артефактов модели, зависящих от модели.

Tensorflow

# Also autoinstruments tf.keras
import mlflow.tensorflow
mlflow.tensorflow.autolog()

Keras

# Use import mlflow.tensorflow and mlflow.tensorflow.autolog() if using tf.keras
import mlflow.keras
mlflow.keras.autolog()

Xgboost

import mlflow.xgboost
mlflow.xgboost.autolog()

Lightgbm

import mlflow.lightgbm
mlflow.lightgbm.autolog()

Scikit-learn

import mlflow.sklearn
mlflow.sklearn.autolog()

Pyspark

При выполнении настройки с pyspark.ml метрики и модели автоматически регистрируются в млфлов. См. раздел Apache Spark MLlib и автоматическое отслеживание млфловов

Просмотр результатов

После выполнения кода машинного обучения можно просмотреть результаты с помощью боковой панели запуск эксперимента. Инструкции по просмотру эксперимента, запуска и редакции записной книжки, использованной в кратком руководстве, см. в разделе Просмотр экспериментов .

Мониторинг дополнительных метрик, параметров и моделей

Вы можете регистрировать дополнительные сведения, напрямую вызывая API-интерфейсы ведения журнала отслеживания млфлов.

  • Числовые метрики:

    import mlflow
    mlflow.log_metric("accuracy", 0.9)
    
  • Параметры обучения:

    import mlflow
    mlflow.log_param("learning_rate", 0.001)
    
  • Модели:

    Scikit-learn

    import mlflow.sklearn
    mlflow.sklearn.log_model(model, "myModel")
    

    Pyspark

    import mlflow.spark
    mlflow.spark.log_model(model, "myModel")
    

    Xgboost

    import mlflow.xgboost
    mlflow.xgboost.log_model(model, "myModel")
    

    Tensorflow

    import mlflow.tensorflow
    mlflow.tensorflow.log_model(model, "myModel")
    

    Keras

    import mlflow.keras
    mlflow.keras.log_model(model, "myModel")
    

    Pytorch

    import mlflow.pytorch
    mlflow.pytorch.log_model(model, "myModel")
    

    спаци

    import mlflow.spacy
    mlflow.spacy.log_model(model, "myModel")
    
  • Другие артефакты (файлы):

    import mlflow
    mlflow.log_artifact("/tmp/my-file", "myArtifactPath")
    

Примеры записных книжек

Требования

Databricks Runtime 6,4 или выше или Databricks Runtime 6,4 ML или более поздней версии.

Записные книжки

Рекомендуемый способ приступить к использованию отслеживания Млфлов в Python — использовать autolog() API млфлов. Благодаря возможностям автоматического ведения журнала Млфлов в одной строке кода автоматически регистрируется результирующая модель, параметры, используемые для создания модели, и оценка модели. В следующей записной книжке показано, как настроить запуск с помощью автоведения журнала.

Блокнот для быстрого ведения журнала Млфлов для записной книжки Python

Получить записную книжку

Если вам требуется больший контроль над метриками, регистрируемыми для каждого из учебных запусков, или заносить дополнительные артефакты, такие как таблицы или диаграммы, можно использовать функции API ведения журнала Млфлов, продемонстрированные в следующей записной книжке.

Краткое руководство по API Млфлов ведения журнала Python

Получить записную книжку

Подробнее