MLflow denemesi
MLflow denemesi veri kaynağı, MLflow denemesi çalıştırma verilerini yüklemek için standart bir API sağlar. Not defteri denemesinden veri yükleyebilir veya MLflow deneme adını veya deneme kimliğini kullanabilirsiniz.
Gereksinimler
Databricks Runtime 6.0 ML veya üzeri.
Not defteri denemesinden veri yükleme
Not defteri denemesinden veri yüklemek için kullanın load()
.
Python
df = spark.read.format("mlflow-experiment").load()
display(df)
Scala
val df = spark.read.format("mlflow-experiment").load()
display(df)
Deneme kimliklerini kullanarak veri yükleme
Bir veya daha fazla çalışma alanı denemesinden veri yüklemek için, deneme kimliklerini gösterildiği gibi belirtin.
Python
df = spark.read.format("mlflow-experiment").load("3270527066281272")
display(df)
Scala
val df = spark.read.format("mlflow-experiment").load("3270527066281272,953590262154175")
display(df)
Deneme adını kullanarak veri yükleme
Deneme adını yöntemine load()
de geçirebilirsiniz.
Python
expId = mlflow.get_experiment_by_name("/Shared/diabetes_experiment/").experiment_id
df = spark.read.format("mlflow-experiment").load(expId)
display(df)
Scala
val expId = mlflow.getExperimentByName("/Shared/diabetes_experiment/").get.getExperimentId
val df = spark.read.format("mlflow-experiment").load(expId)
display(df)
Ölçümlere ve parametrelere göre verileri filtreleme
Bu bölümdeki örneklerde, verileri bir denemeden yükledikten sonra nasıl filtreleyebileceğiniz gösterilmektedir.
Python
df = spark.read.format("mlflow-experiment").load("3270527066281272")
filtered_df = df.filter("metrics.loss < 0.01 AND params.learning_rate > '0.001'")
display(filtered_df)
Scala
val df = spark.read.format("mlflow-experiment").load("3270527066281272")
val filtered_df = df.filter("metrics.loss < 1.85 AND params.num_epochs > '30'")
display(filtered_df)
Şema
Veri kaynağı tarafından döndürülen DataFrame şeması:
root
|-- run_id: string
|-- experiment_id: string
|-- metrics: map
| |-- key: string
| |-- value: double
|-- params: map
| |-- key: string
| |-- value: string
|-- tags: map
| |-- key: string
| |-- value: string
|-- start_time: timestamp
|-- end_time: timestamp
|-- status: string
|-- artifact_uri: string