Início rápido Python

O MLflow é uma plataforma open source para gerir o ciclo de vida completo de machine learning. O MLflow fornece APIs simples para registar métricas (por exemplo, perda de modelos), parâmetros (por exemplo, taxa de aprendizagem) e modelos equipados, facilitando a análise dos resultados de treino ou implantação de modelos mais tarde.

Nesta secção:

Instalar O Fluxo ML

Se estiver a utilizar databricks runtime para machine learning,o MLflow já está instalado. Caso contrário, instale o pacote MLflow a partir de PyPI.

O treino de registo automático corre para MLflow

O MLflow fornece mlflow.<framework>.autolog() APIs para registar automaticamente código de formação escrito em muitos quadros ML. Pode chamar a api antes de executar o código de treino para registar métricas, parâmetros e artefactos de modelo específicos.

TensorFlow

# Also autoinstruments tf.keras
import mlflow.tensorflow
mlflow.tensorflow.autolog()

Keras

# Use import mlflow.tensorflow and mlflow.tensorflow.autolog() if using tf.keras
import mlflow.keras
mlflow.keras.autolog()

Xgboost

import mlflow.xgboost
mlflow.xgboost.autolog()

Lightgbm

import mlflow.lightgbm
mlflow.lightgbm.autolog()

Scikit-learn

import mlflow.sklearn
mlflow.sklearn.autolog()

Pyspark

Se a sintonização com pyspark.ml , métricas e modelos são automaticamente registados em MLflow. Ver Apache Spark MLlib e rastreio automatizado de MLflow

Ver resultados

Depois de executar o seu código de aprendizagem automática, pode ver os resultados na barra lateral experimentadas:

  1. Clique no ícone experimento  Experiment na barra de contexto do caderno. As demonstrações da barra lateral Experiments Runs. Na barra lateral, pode ver os parâmetros e métricas da corrida:

    Execuções

  2. Clique no ícone De Ligação Externa Ligação Externa na barra de contexto Experiment Runs para ver a experiência:

    Ver experiência

  3. Na experiência, clique numa data:

    Selecione executar

    Os detalhes da execução mostram:

    Detalhes da Execução

  4. Na experiência, clique numa fonte:

    Fonte de experiência

    A revisão do caderno utilizada nos ecrãs de execução:

    Revisão do caderno

Acompanhe métricas, parâmetros e modelos adicionais

Pode registar informações adicionais invocando diretamente as APIs de registo de rastreio de MLflow.

  • Métricas numéricas:

    import mlflow
    mlflow.log_metric("accuracy", 0.9)
    
  • Parâmetros de treino:

    import mlflow
    mlflow.log_param("learning_rate", 0.001)
    
  • Modelos:

    Scikit-learn

    import mlflow.sklearn
    mlflow.sklearn.log_model(model, "myModel")
    

    Pyspark

    import mlflow.spark
    mlflow.spark.log_model(model, "myModel")
    

    Xgboost

    import mlflow.xgboost
    mlflow.xgboost.log_model(model, "myModel")
    

    TensorFlow

    import mlflow.tensorflow
    mlflow.tensorflow.log_model(model, "myModel")
    

    Keras

    import mlflow.keras
    mlflow.keras.log_model(model, "myModel")
    

    Rio Pytorch

    import mlflow.pytorch
    mlflow.pytorch.log_model(model, "myModel")
    

    Espáduo

    import mlflow.spacy
    mlflow.spacy.log_model(model, "myModel")
    
  • Outros artefactos (ficheiros):

    import mlflow
    mlflow.log_artifact("/tmp/my-file", "myArtifactPath")
    

Blocos de notas de exemplo

Requisitos

Databricks Executar tempo de execução 6.4 ou superior ou Databricks Runtime 6.4 ML ou superior.

Notebooks

A forma recomendada de começar a usar o rastreio de MLflow com Python é utilizar a autolog() API MLflow. Com as capacidades de autologagem da MLflow, uma única linha de código regista automaticamente o modelo resultante, os parâmetros utilizados para criar o modelo e uma pontuação de modelo. O seguinte caderno mostra-lhe como configurar uma corrida utilizando a autologagem.

Registo automático do MLflow, Início Rápido, Bloco de notas do Python

Obter o bloco de notas

Se precisar de mais controlo sobre as métricas registadas para cada treino, ou quiser registar artefactos adicionais, tais como tabelas ou parcelas, pode utilizar as funções de API de registo de MLflow demonstradas no seguinte caderno.

API de Registo do MLflow, Início Rápido, Bloco de notas do Python

Obter o bloco de notas

Saiba mais