Hızlı Başlangıç Python

  • Makale

MLflow, uçtan uca makine öğrenmesi yaşam döngüsünü yönetmeye yönelik açık kaynaklı bir platformdur. MLflow ölçümleri (örneğin model kaybı), parametreleri (örneğin öğrenme oranı) ve uygun modelleri günlüğe kaydetmek için basit API'ler sağlayarak eğitim sonuçlarını çözümlemeyi veya daha sonra modelleri dağıtmayı kolaylaştırır.

Bu bölümde:

MLflow'u yükleme

Machine Learning için Databricks Runtime kullanıyorsanız MLflow zaten yüklüdür. Aksi takdirde, PyPI'dan MLflow paketini yükleyin.

Eğitim çalıştırmalarını MLflow'a otomatik olarak günlüğe kaydetme

Databricks Runtime 10.4 LTS ML ve üzeri ile Databricks Otomatik Kaydetme varsayılan olarak etkinleştirilir ve çeşitli popüler makine öğrenmesi kitaplıklarından model eğittiğiniz zaman model parametrelerini, ölçümleri, dosyaları ve köken bilgilerini otomatik olarak yakalar.

Databricks Runtime 9.1 LTS ML ile MLflow, birçok ML çerçevesinde yazılan eğitim kodunu otomatik olarak günlüğe kaydetmek için API'ler sağlar mlflow.<framework>.autolog() . Modele özgü ölçümleri, parametreleri ve model yapıtlarını günlüğe kaydetmek için eğitim kodunu çalıştırmadan önce bu API'yi çağırabilirsiniz.

TensorFlow

Not

Keras modelleri de içinde mlflow.tensorflow.autolog()desteklenir.

# Also autoinstruments tf.keras
import mlflow.tensorflow
mlflow.tensorflow.autolog()

XGBoost

import mlflow.xgboost
mlflow.xgboost.autolog()

LightGBM

import mlflow.lightgbm
mlflow.lightgbm.autolog()

scikit-learn

import mlflow.sklearn
mlflow.sklearn.autolog()

PySpark

ile pyspark.mlayarlama gerçekleştiriliyorsa ölçümler ve modeller otomatik olarak MLflow'a kaydedilir. Bkz. Apache Spark MLlib ve otomatik MLflow izleme.

Sonuçları görüntüle

Makine öğrenmesi kodunuzu yürüttkten sonra Deneme Çalıştırmaları kenar çubuğunu kullanarak sonuçları görüntüleyebilirsiniz. Hızlı başlangıçta kullanılan deneme, çalıştırma ve not defteri düzeltmesini görüntüleme yönergeleri için bkz . Not defteri denemesini görüntüleme.

Ek ölçümleri, parametreleri ve modelleri izleme

MLflow İzleme günlük API'lerini doğrudan çağırarak ek bilgileri günlüğe kaydedebilirsiniz.

Sayısal ölçümler

  import mlflow
  mlflow.log_metric("accuracy", 0.9)

Eğitim parametreleri

  import mlflow
  mlflow.log_param("learning_rate", 0.001)

Modeller

scikit-learn

 import mlflow.sklearn
 mlflow.sklearn.log_model(model, "myModel")

PySpark

 import mlflow.spark
 mlflow.spark.log_model(model, "myModel")

XGBoost

 import mlflow.xgboost
 mlflow.xgboost.log_model(model, "myModel")

TensorFlow

 import mlflow.tensorflow
 mlflow.tensorflow.log_model(model, "myModel")

Keras

 import mlflow.keras
 mlflow.keras.log_model(model, "myModel")

PyTorch

 import mlflow.pytorch
 mlflow.pytorch.log_model(model, "myModel")

SpaCy

 import mlflow.spacy
 mlflow.spacy.log_model(model, "myModel")

Diğer yapıtlar (dosyalar)

   import mlflow
   mlflow.log_artifact("/tmp/my-file", "myArtifactPath")

Örnek not defterleri

Not

Databricks Runtime 10.4 LTS ML ve üzeri ile Databricks Otomatik Kaydetme varsayılan olarak etkindir ve bu örnek not defterlerindeki kod gerekli değildir. Bu bölümdeki örnek not defterleri Databricks Runtime 9.1 LTS ML ile kullanılmak üzere tasarlanmıştır.

Python ile MLflow izlemeyi kullanmaya başlamanın önerilen yolu MLflow autolog() API'sini kullanmaktır. MLflow'un otomatik olarak dağıtma özellikleri sayesinde tek bir kod satırı elde edilen modeli, modeli oluşturmak için kullanılan parametreleri ve bir model puanını otomatik olarak günlüğe kaydeder. Aşağıdaki not defterinde, otomatik kaydetmeyi kullanarak bir çalıştırmanın nasıl ayarlanacağı gösterilmektedir.

MLflow otomatik kaydetme hızlı başlangıç Python not defteri

Not defterini alma

Her eğitim çalıştırması için günlüğe kaydedilen ölçümler üzerinde daha fazla denetime ihtiyacınız varsa veya tablolar veya çizimler gibi ek yapıtları günlüğe kaydetmek istiyorsanız, aşağıdaki not defterinde gösterilen MLflow günlük API'sini kullanabilirsiniz.

MLflow günlük API'si hızlı başlangıç Python not defteri

Not defterini alma

Daha fazla bilgi edinin