Sledování vývoje modelů

Proces vývoje modelu je iterativní a může být náročné udržet si při vývoji a optimalizaci modelu přehled o provedené práci. Ve službě Azure Databricks můžete využít sledování MLflow, které vám pomůže sledovat proces vývoje modelu, včetně kombinací nebo nastavení parametrů, které jste vyzkoušeli, a toho, jak ovlivňují výkon modelu.

K protokolování a sledování vývoje modelu se ve sledování MLflow využívají experimenty a běhy. Běh je jedno spuštění kódu modelu. V rámci běhu MLflow můžete protokolovat parametry a výsledky modelu. Experiment je kolekce souvisejících běhů. V rámci experimentu můžete porovnat a filtrovat běhy, abyste pochopili, jak model funguje a do jaké míry jeho výkon závisí na nastavení parametrů, vstupních datech a tak dále.

Poznámkové bloky v tomto článku poskytují jednoduché příklady, které vám pomohou rychle začít MLflow využívat ke sledování vývoje modelů. Další informace o použití sledování MLflow ve službě Azure Databricks najdete v tématu věnovaném sledování trénovacích běhů strojového učení.

Poznámka

Sledování MLflow nepodporuje úlohy odeslané pomocí SparkSubmitTask. Místo toho můžete použít projekty MLflow ke spuštění kódu Spark.

Sledování vývoje modelů s využitím automatického protokolování

MLflow může automaticky protokolovat trénovací kód napsaný v mnoha architekturách ML. Je to nejjednodušší způsob, jak začít sledování MLflow používat.

Tento ukázkový poznámkový blok ukazuje, jak použít automatické protokolování s knihovnou scikit-learn. Informace automatickém protokolování s použitím jiných knihoven Pythonu najdete v tématu věnovaném automatickému protokolování trénovacích běhů do MLflow.

Poznámkový blok MLflow autologging pro rychlé přihlašování Python

Získat poznámkový blok

Sledování vývoje modelů s využitím protokolování rozhraní API

Tento poznámkový blok ukazuje, jak používat rozhraní API pro protokolování v MLflow. Použití rozhraní API pro protokolování vám umožní získat větší kontrolu nad protokolovanými metrikami a protokolovat další artefakty, jako jsou tabulky nebo diagramy.

Tento ukázkový Poznámkový blok ukazuje, jak používat rozhraní API pro protokolování v Pythonu. MLflow má také rozhraní API pro REST, R a Javu.

Rychlé zablokování rozhraní API pro MLflow protokolování v Pythonu

Získat poznámkový blok

Kompletní příklad

Tento poznámkový blok představuje ucelený příklad trénování modelu v Azure Databricks, včetně načítání dat, jejich vizualizace, nastavení paralelní optimalizace hyperparametrů a použití MLflow ke kontrole výsledků, registraci modelu a odvozování nových dat pomocí registrovaného modelu ve sparkové uživatelsky definované funkci.

Požadavky

Databricks Runtime 6.5 ML nebo vyšší

Příklad poznámkového bloku

Kompletní ukázkový poznámkový blok MLflow

Získat poznámkový blok