モデル開発の追跡Track model development

モデル開発プロセスは反復的であり、モデルを開発および最適化するときに作業を追跡することは困難になる場合があります。The model development process is iterative, and it can be challenging to keep track of your work as you develop and optimize a model. Azure Databricks では、MLflow 追跡を使用して、実行したパラメーターの設定や組み合わせ、それらがモデルのパフォーマンスにどのような影響を及ぼしたかなど、モデルの開発プロセスを追跡することができます。In Azure Databricks, you can use MLflow tracking to help you keep track of the model development process, including parameter settings or combinations you have tried and how they affected the model’s performance.

MLflow 追跡では "実験" と "実行" を使用して、モデルの開発をログに記録し、追跡します。MLflow tracking uses experiments and runs to log and track your model development. 実行とは、モデル コードの 1 回の実行です。A run is a single execution of model code. MLflow の実行中に、モデルのパラメーターと結果をログに記録できます。During an MLflow run, you can log model parameters and results. 実験とは、関連する実行のコレクションです。An experiment is a collection of related runs. 実験内では、実行の比較とフィルター処理を行って、モデルのパフォーマンスと、パラメーターの設定や入力データなどに対するパフォーマンスの違いを理解することができます。Within an experiment, you can compare and filter runs to understand how your model performs and how its performance depends on the parameter settings, input data, and so on.

この記事のノートブックでは、MLflow を使用してモデル開発の追跡を迅速に開始するのに役立つ簡単な例を紹介しています。The notebooks in this article provide simple examples that can help you quickly get started using MLflow to track your model development. Azure Databricks で MLflow 追跡を使用する方法の詳細については、「機械学習のトレーニング実行を追跡する」を参照してください。For more details on using MLflow tracking in Azure Databricks, see Track machine learning training runs.

自動ログ記録を使用したモデル開発の追跡Use autologging to track model development

MLflow では、多くの ML フレームワークで記述されたトレーニング コードを自動的にログに記録できます。MLflow can automatically log training code written in many ML frameworks. これは、MLflow 追跡の使用を開始する最も簡単な方法です。This is the easiest way to get started using MLflow tracking.

このノートブックの例では、scikit-learn で自動ログ記録を使用する方法を示します。This example notebook shows how to use autologging with scikit-learn. 他の Python ライブラリを使用した自動ログ記録の詳細については、MLflow へのトレーニング実行の自動的なログ記録に関する記事を参照してください。For information about autologging with other Python libraries, see Automatically log training runs to MLflow.

MLflow 自動ログ記録クイック スタート Python ノートブックMLflow Autologging Quick Start Python notebook

ノートブックを入手Get notebook

ログ API を使用したモデル開発の追跡Use the logging API to track model development

このノートブックは、MLflow ログ API の使用方法を示しています。This notebook illustrates how to use the MLflow logging API. ログ API を使用すると、ログに記録されるメトリックをより細かく制御できるので、テーブルやプロットなどの追加のアーティファクトをログに記録できます。Using the logging API gives you more control over the metrics logged and lets you log additional artifacts such as tables or plots.

このノートブック例では、Python のログ API を使用する方法を示しています。This example notebook shows how to use the Python logging API. MLflow には、REST、R、および Java の API もあります。MLflow also has REST, R, and Java APIs.

MLflow ログ API クイック スタート Python ノートブックMLflow Logging API Quick Start Python notebook

ノートブックを入手Get notebook

エンド ツー エンドの例End-to-end example

このチュートリアル ノートブックでは、データの読み込み、データの視覚化、並列ハイパーパラメーターの最適化の設定、MLflow を使用した結果の確認、モデルの登録、および Spark UDF の登録済みモデルを使用した新しいデータに対する推論の実行など、Azure Databricks でモデルをトレーニングするエンドツーエンドの例を紹介します。This tutorial notebook presents an end-to-end example of training a model in Azure Databricks, including loading data, visualizing the data, setting up a parallel hyperparameter optimization, and using MLflow to review the results, register the model, and perform inference on new data using the registered model in a Spark UDF.

必要条件Requirements

Databricks Runtime 6.5 ML 以降。Databricks Runtime 6.5 ML or above.

MLflow のエンドツーエンドのサンプル ノートブックMLflow end-to-end example notebook

ノートブックを入手Get notebook