使用 Azure Machine Learning CLI 和 Python SDK 設定表格式資料的 AutoML 定型

  • 發行項

適用於：Azure CLI ml 延伸模組 v2 (目前)Python SDK azure-ai-ml v2 (目前)

使用本指南，了解如何使用 Azure Machine Learning Python SDK v2，設定自動化機器學習、AutoML、定型作業。 自動化 ML 會為您挑選演算法和超參數，並產生馬上可進行部署的模型。 本指南會詳述各種可讓您用來設定自動化 ML 實驗的選項。

如果您想要使用無程式碼的體驗，則也可以在 Azure Machine Learning 工作室中設定無程式碼 AutoML 定型。

必要條件

如若要使用 SDK 資訊，請安裝適用於 Python SDK v2 的 Azure Machine Learning。

若要安裝 SDK，您可以執行下列任一動作：

設定您的工作區

若要連線到工作區，您需要提供訂閱、資源群組和工作區名稱。

這些工作區詳細資料會為 azure.ai.ml 中的 MLClient 所用，以掌握必要的 Azure Machine Learning 工作區。

在下列範例中，預設 Azure 驗證會搭配預設工作區設定使用，或取用自任何您可能複製到資料夾結構中的 config.json 檔案。 如果找不到 config.json，請在建立 MLClient 時手動導入 subscription_id、resource_group 和工作區。

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient

credential = DefaultAzureCredential()
ml_client = None
try:
    ml_client = MLClient.from_config(credential)
except Exception as ex:
    print(ex)
    # Enter details of your Azure Machine Learning workspace
    subscription_id = "<SUBSCRIPTION_ID>"
    resource_group = "<RESOURCE_GROUP>"
    workspace = "<AZUREML_WORKSPACE_NAME>"
    ml_client = MLClient(credential, subscription_id, resource_group, workspace)

資料來源和格式

若要在 SDK 第 2 版中，將定型資料提供給 AutoML，則需要透過 MLTable 將其上傳至雲端。

將資料載入 MLTable 的需求：

  • 資料必須是表格形式。
  • 要預測的值 (目標資料行) 必須位於資料中。

必須可從遠端計算存取定型資料。 自動化 ML 第 2 版 (Python SDK 和 CLI/YAML) 接受 MLTable 資料資產 (第 2 版)，不過因為具備回溯相容性，因此也可透過相同輸入資料集屬性，支援自第 1 版 開始的表格式資料集 (已註冊的表格資料集)。 在此仍建議您使用第 2 版所提供的 MLTable。 在此範例中，我們假設資料儲存在本機路徑上，./train_data/bank_marketing_train_data.csv

您可以使用 mltable Python SDK 建立 MLTable，如下列範例所示：

import mltable

paths = [
    {'file': './train_data/bank_marketing_train_data.csv'}
]

train_table = mltable.from_delimited_files(paths)
train_table.save('./train_data')

此程式碼會建立新的檔案 ./train_data/MLTable，其中包含檔案格式和載入指示。

現在 ./train_data 資料夾含有 MLTable 定義檔加上資料檔案 bank_marketing_train_data.csv。

如需 MLTable 的詳細資訊，請參閱 MLTable 操作方式一文

定型、驗證和測試資料

您可以指定個別定型資料和驗證資料集，不過必須在自動化 ML 作業的 Factory 函式中提供 training_data 參數。

如果您未明確指定 validation_data 或 n_cross_validation 參數，自動化 ML 會套用預設技術，以決定如何執行驗證。 會做出什麼決定取決於資料集內指派給 training_data 參數的資料列數目。

定型資料大小 驗證技術
大於 20,000 個資料列 套用定型/驗證資料分割。 預設值是以 10% 的初始定型資料集做為驗證集。 接著，該驗證集會用於計量計算。
小於或等於 20000 個資料列 套用交叉驗證方法。 預設的摺疊數目取決於資料列數目。
如果資料集少於 1000 個資料列，則會使用 10 個摺疊。
如果資料列等於或介於 1000 到 20000 個之間，則會使用三個摺疊。

計算要執行的實驗

Azure Machine Learning 遠端計算 (叢集或計算執行個體) 目前僅支援使用 Python SDK 第 2 版 (或 CLI 第 2 版) 的自動化 ML 作業。

深入瞭解如何使用 Python SDKv2 (或 CLIv2) 建立計算。

設定您的實驗設定

有數個選項可用來設定自動化 ML 實驗。 這些設定參數會在您的工作方法中設定。 您也可以使用 training 和 limits 設定來設定作業定型設定和允出準則。

下列範例說明分類工作的必要參數，其中將精確度指定為主要計量，並指定 5 個交叉驗證折。

from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import automl, Input

# note that this is a code snippet -- you might have to modify the variable values to run it successfully

# make an Input object for the training data
my_training_data_input = Input(
    type=AssetTypes.MLTABLE, path="./data/training-mltable-folder"
)

# configure the classification job
classification_job = automl.classification(
    compute=my_compute_name,
    experiment_name=my_exp_name,
    training_data=my_training_data_input,
    target_column_name="y",
    primary_metric="accuracy",
    n_cross_validations=5,
    enable_model_explainability=True,
    tags={"my_custom_tag": "My custom value"}
)

# Limits are all optional
classification_job.set_limits(
    timeout_minutes=600, 
    trial_timeout_minutes=20, 
    max_trials=5,
    enable_early_termination=True,
)

# Training properties are optional
classification_job.set_training(
    blocked_training_algorithms=["logistic_regression"], 
    enable_onnx_compatible_models=True
)

選取您的機器學習工作類型 (ML 問題)

請先確認您要解決的機器學習問題種類，再提交自動化 ML 作業。 此問題會決定自動化 ML 作業所使用的函式，以及要套用的模型演算法。

自動化 ML 支援表格式資料型工作 (分類、迴歸、預測)、電腦視覺工作 (例如，影像分類和物件偵測)，以及自然語言處理工作 (例如，文字分類和實體辨識工作)。 如需詳細資訊，請參閱我們有關工作類型一文。 如需設定預測工作的詳細資訊，請參閱我們的時間序列預測指南。

支援的演算法

在自動化和微調程序進行期間，自動化機器學習會嘗試使用不同的模型和演算法。 身為使用者，您不需要指定演算法。

工作方法會決定要套用的演算法/模型清單。 使用 AutoML 作業 training 組態中的 allowed_training_algorithms 或 blocked_training_algorithms 參數，進一步修改包含或排除可用模型的反覆項目。

在下列連結清單中，您可以探索以下各種機器學習工作所支援的演算法。

分類 迴歸 時間序列預測
羅吉斯迴歸* 彈性網路* AutoARIMA
Light GBM* Light GBM* Prophet
漸層停駐提升* 漸層停駐提升* 彈性網路
決策樹* 決策樹* Light GBM
K 最近鄰演算法* K 最近鄰演算法* K 最近鄰演算法
線性 SVC* LARS Lasso* 決策樹
支援向量分類 (SVC)* 隨機梯度下降 (SGD)* Arimax
隨機樹系* 隨機樹系 LARS Lasso
極度隨機樹狀結構* 極度隨機樹狀結構* 極度隨機樹狀結構*
Xgboost* Xgboost* 隨機樹系
貝氏機率分類* Xgboost TCNForecaster
隨機梯度下降 (SGD)* 隨機梯度下降 (SGD) 漸層停駐提升
ExponentialSmoothing
SeasonalNaive
平均
Naive
SeasonalAverage

使用下列其他演算法。

如需每一種工作類型的範例筆記本，請參閱此連結。

主要計量

primary_metric 參數會決定在模型定型期間要用於最佳化的計量。 您可以選取的可用計量由您選擇的工作類型來決定。

為要最佳化的自動化 ML 選擇主要計量取決於許多因素。 建議您優先考慮選擇最能代表您商務需求的計量。 然後，再考慮該計量是否適用於您的資料集設定檔 (資料大小、範圍、類別分佈等等)。 下列各節會摘要說明根據工作類型和商務案例所建議的主要計量。

請在了解自動化機器學習結果中了解這些計量的特定定義。

分類多類別案例的計量

這些計量適用於所有分類案例，包括表格式資料、影像/電腦視覺和 NLP-文字。

對於小型資料集、類別大幅扭曲 (類別不平衡) 的資料集，或資料集預期的計量值極接近 0.0 或 1.0 時，閾值相依計量 (例如 accuracy、recall_score_weighted、norm_macro_recall 和 precision_score_weighted) 可能無法最佳化。 在這些情況下，AUC_weighted 會是比較好的主要計量選擇。 自動化 ML 完成後，您可以根據最適合您商務需求的計量選擇勝出的模型。

計量 使用案例範例
accuracy 影像分類、情感分析、客戶流失預測
AUC_weighted 詐騙偵測、影像分類、異常偵測/垃圾郵件偵測
average_precision_score_weighted 情感分析
norm_macro_recall 流失預測
precision_score_weighted

分類多標籤案例的計量

  • 如果是文字分類，目前多標籤的「正確性」是唯一支援的主要計量。

  • 若為影像分類多標籤，則支援的主要計量會於 ClassificationMultilabelPrimaryMetrics 列舉中定義

NLP 文字 NER (具名實體辨識) 案例的計量

  • 若為 NLP 文字 NER (具名實體辨識)，則「精確度」為目前唯一支援的主要計量。

迴歸案例的計量

r2_score、normalized_mean_absolute_error 和 normalized_root_mean_squared_error 全都會嘗試將預測誤差降至最低。 r2_score 和 normalized_root_mean_squared_error 都會將均方誤差降至最低，normalized_mean_absolute_error 則會將誤差的平均絕對值降至最低。 絕對值會將所有量級的誤差視為相同，且平方誤差對於絕對值較大的誤差會有更大的懲罰。 視較大的誤差是否應施以更大的懲罰而定，您可以選擇將平方誤差或絕對誤差最佳化。

r2_score 和 normalized_root_mean_squared_error 的主要差異在於其正規化方式與其意義。 normalized_root_mean_squared_error 是依範圍正規化的均方根誤差，可解讀為預測的平均誤差量級。 r2_score 是由資料變異數的估計值加以正規化的平均平方誤差。 這是模型可以擷取到的變異比例。

注意

r2_score 和 normalized_root_mean_squared_error 的行為模式和主要計量類似。 如果套用固定的驗證集，這兩個計量會將相同的目標 (即平均平方誤差) 最佳化，而且會由相同的模型進行最佳化。 如果只有定型集可供使用且套用了交叉驗證，則這兩個計量會稍有不同，因為 normalized_root_mean_squared_error 的正規化程式會固定為定型集的範圍，但是 r2_score 的正規化程式會隨每個摺疊而異，因為其為每個摺疊的變異數。

如果想要排名 (而不是確切值)，則 spearman_correlation 會是比較好的選擇，因為其會測量實際值與預測之間的排名相互關聯。

AutoML 目前不支援任何量值預測與觀察之間的相對差異的主要計量。 計量 r2_score、normalized_mean_absolute_error 和 normalized_root_mean_squared_error 都是絕對差異的量值。 例如，如果預測與觀察相差 10 個單位，則如果觀察值為 20 單位或 20,000 單位，則這些計量會計算出相同的值。 相較之下，百分比差異 (相對量值) 的誤差分別為 50% 和 0.05%！ 若要最佳化相對差異，您可以使用支援的主要計量執行 AutoML，然後選取有最佳 mean_absolute_percentage_error 或 root_mean_squared_log_error 的模型。 請注意，如果任何觀察值為零時，這些計量都是未定義的，因此它們不一定是很好的選擇。

計量 使用案例範例
spearman_correlation
normalized_root_mean_squared_error 價格預測 (房屋/產品/小費)、評論分數預測
r2_score 飛機延誤、薪水預估、錯誤解決時間
normalized_mean_absolute_error

時間序列預測案例的計量

建議與迴歸案例所提到的類似。

計量 使用案例範例
normalized_root_mean_squared_error 價格預測 (預測)、庫存最佳化、需求預測
r2_score 價格預測 (預測)、庫存最佳化、需求預測
normalized_mean_absolute_error

影像物件偵測案例的計量

  • 若為影像物件偵測，支援的主要計量會於 ObjectDetectionPrimaryMetrics 列舉中定義

影像執行個體分割案例的計量

  • 若為影像執行個體分割情境，則支援的主要計量是在 InstanceSegmentationPrimaryMetrics 列舉中定義

資料特徵化

在每個自動化 ML 實驗中，資料會自動轉換成數字和數字向量，並且還會進行縮放和標準化，以利容易受不同比例特徵影響的演算法。 這些資料轉換稱為特徵化。

注意

自動化機器學習特徵化步驟 (功能標準化、處理遺漏的資料、將文字轉換為數值等等) 會成為基礎模型的一部分。 使用模型進行預測時，定型期間所套用的相同特徵化步驟會自動套用至您的輸入資料。

設定自動化 ML 作業時，您可以啟用/停用 featurization 設定。

下表說明認可的特徵化設定。

特徵化設定 描述
"mode": 'auto' 指出在前置處理過程中，會自動執行資料護欄和特徵化步驟。 預設設定。
"mode": 'off' 指出不應自動執行特徵化步驟。
"mode": 'custom' 指出應使用自訂的特徵化步驟。

下列程式碼說明在此案例中，如何針對迴歸作業提供自訂特徵化。

from azure.ai.ml.automl import ColumnTransformer

transformer_params = {
    "imputer": [
        ColumnTransformer(fields=["CACH"], parameters={"strategy": "most_frequent"}),
        ColumnTransformer(fields=["PRP"], parameters={"strategy": "most_frequent"}),
    ],
}
regression_job.set_featurization(
    mode="custom",
    transformer_params=transformer_params,
    blocked_transformers=["LabelEncoding"],
    column_name_and_types={"CHMIN": "Categorical"},
)

允出準則

您可以在 set_limits() 函式中定義幾個選項，以在作業完成之前結束實驗。

準則 description
無準則 若未定義任何結束參數，實驗會繼續進行，直到主要計量沒有進一步的進度為止。
timeout 定義實驗要持續執行的時間 (以分鐘為單位)。 如果不指定，預設作業的完整逾時是 6 天 (8,640 分鐘)。 若要指定逾時少於或等於 1 小時 (60 分鐘)，請確定資料集的大小不超過 10,000,000 (資料列乘以資料行)，或確定結果正確無誤。

此逾時包括設定、特徵化和定型執行，但不包括程序結束時執行的集成和模型可解釋性，因為這些動作必須在所有試驗 (子作業) 完成後發生。
trial_timeout_minutes 每個試驗 (子項目作業) 在終止前可執行的時間上限 (單位：分鐘)。 如果未指定，則會使用 1 個月或 43200 分鐘的值
enable_early_termination 如果分數未在短期內改善，是否結束工作
max_trials 在 AutoML 作業期間，每次使用不同演算法和超參數組合嘗試試驗/執行的次數上限。 如果未指定，則預設值為 1000 次試驗。 如果使用 enable_early_termination，則使用的試驗數值可再小一些。
max_concurrent_trials 表示要平行執行的試驗 (子項目作業) 數目上限。 此數值最好與叢集的節點數目相符

執行實驗

注意

如果您以相同設定和主要計量多次執行實驗，您可能會發現每個實驗的最終計量分數和產生的模型會有變化。 自動化 ML 採用的演算法具有固有的隨機性，可能會導致實驗和建議模型的最終計量分數所產生的模型輸出有些微變化，例如精確度。 您可能還會看到模型名稱相同，但使用不同超參數的結果。

警告

如果您已在工作區的防火牆或網路安全性群組中設定規則，請確認是否遵循設定輸入和輸出網路流量定義，授與輸入和輸出網路流量必要的權限。

提交實驗以執行與產生模型。 以必要條件建立 MLClient 後，即可在工作區執行下列命令。


# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

# Get a URL for the status of the job
returned_job.services["Studio"].endpoint

叢集上有多個子執行

您可以在已執行其他實驗的叢集上，執行自動化 ML 實驗子執行。 不過，時機取決於叢集擁有的節點數目，以及這些節點是否可用來執行不同實驗。

叢集中的每個節點都會作為個別的虛擬機器 (VM)，並可完成單一定型執行；對自動化 ML 來說，這代表子執行。 如果所有節點都處於忙碌狀態，系統會將新實驗排入佇列。 但如果有可用節點，新實驗就會在可用節點/VM 中平行執行自動化 ML 子執行。

為了協助管理子執行及其可以執行的時間，建議您為每個實驗建立專用叢集，並讓實驗的 max_concurrent_iterations 數目符合叢集中的節點數目。 如此一來，您就可以同時使用叢集的所有節點，以及您想要的並行子執行/反覆項目數目。

在 limits 在組態中設定 max_concurrent_iterations。 如果未設定，則每個實驗預設只能允許一個並行的子執行/反覆項目。 如果是計算執行個體，則可將 max_concurrent_trials 設定為與計算執行個體 VM 上的核心數目相同的值。

探索模型和計量

自動化 ML 提供了一些選項供您監視及評估定型結果。

進行特定模型的定型時，您可以從模型頁面的 Azure Machine Learning UI 檢視所用的超參數，也可檢視並自訂已使用的內部模型定型程式碼。

註冊和部署模型

測試模型並確認要在生產環境中使用之後，便可註冊該模型以供稍後使用。

提示

針對已註冊的模型，可透過 Azure Machine Learning 工作室來進行一鍵式部署。 請了解如何從工作室部署已註冊的模型。

管線中的 AutoML

若要在 MLOps 工作流程中運用 AutoML，您可以將 AutoML 作業步驟新增至 Azure Machine Learning 管線。 這可讓您將資料準備指令碼連結至 AutoML，然後註冊並驗證產生的最佳模型，以自動化整個工作流程。

以下是具有 AutoML 分類元件的範例管線，以及顯示所產生 AutoML 輸出的命令元件。 請記下輸入 (定型和驗證資料) 和輸出 (最佳模型) 在不同步驟中參考的方式。

# Define pipeline
@pipeline(
    description="AutoML Classification Pipeline",
    )
def automl_classification(
    classification_train_data,
    classification_validation_data
):
    # define the automl classification task with automl function
    classification_node = classification(
        training_data=classification_train_data,
        validation_data=classification_validation_data,
        target_column_name="y",
        primary_metric="accuracy",
        # currently need to specify outputs "mlflow_model" explictly to reference it in following nodes 
        outputs={"best_model": Output(type="mlflow_model")},
    )
    # set limits and training
    classification_node.set_limits(max_trials=1)
    classification_node.set_training(
        enable_stack_ensemble=False,
        enable_vote_ensemble=False
    )

    command_func = command(
        inputs=dict(
            automl_output=Input(type="mlflow_model")
        ),
        command="ls ${{inputs.automl_output}}",
        environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:latest"
    )
    show_output = command_func(automl_output=classification_node.outputs.best_model)


pipeline_job = automl_classification(
    classification_train_data=Input(path="./training-mltable-folder/", type="mltable"),
    classification_validation_data=Input(path="./validation-mltable-folder/", type="mltable"),
)

# set pipeline level compute
pipeline_job.settings.default_compute = compute_name

# submit the pipeline job
returned_pipeline_job = ml_client.jobs.create_or_update(
    pipeline_job,
    experiment_name=experiment_name
)
returned_pipeline_job

# ...
# Note that this is a snippet from the bankmarketing example you can find in our examples repo -> https://github.com/Azure/azureml-examples/tree/main/sdk/python/jobs/pipelines/1h_automl_in_pipeline/automl-classification-bankmarketing-in-pipeline

如需如何在管線納入 AutoML 的更多範例，請查看範例存放庫。

大規模 AutoML：分散式定型

針對大型資料案例，AutoML 對有限模型組支援分散式定型：

分散式演算法 支援的工作 資料大小限制 (大約)
LightGBM 分類、迴歸 1TB
TCNForecaster 預測 200GB

分散式定型演算法會自動分割資料，並將資料分散到多個計算節點以進行模型定型。

注意

分散式定型模式目前不支援交叉驗證、集成模型、ONNX 支援和程式碼產生。 此外，AutoML 可能會做出選擇，例如限制用於驗證、可解釋性和模型評估的可用特徵化程式和子取樣資料。

分類和回歸的分散式定型

若要使用分散式定型進行分類或回歸，您必須設定作業物件的 training_mode 和 max_nodes 屬性。

屬性 說明
training_mode 表示定型模式 distributed 或 non_distributed。 預設為 non_distributed。
max_nodes 每個 AutoML 試用版要用於定型的節點數目。 此設定必須大於或等於 4。

下列程式碼範例顯示分類作業的這些設定範例：

from azure.ai.ml.constants import TabularTrainingMode

# Set the training mode to distributed
classification_job.set_training(
    allowed_training_algorithms=["LightGBM"],
    training_mode=TabularTrainingMode.DISTRIBUTED
)

# Distribute training across 4 nodes for each trial
classification_job.set_limits(
    max_nodes=4,
    # other limit settings
)

注意

分類和回歸工作的分散式定型目前不支援多個並行試用版。 模型試用使用 max_nodes 個節點依序執行每個試用版。 目前會忽略 max_concurrent_trials 限制設定。

預測的分散式定型

若要了解分散式定型如何針對預測工作運作，請參閱我們的大規模預測一文。 若要使用分散式定型進行預測，您必須設定 training_mode、enable_dnn_training、 max_nodes 及選擇性地設定作業物件的 max_concurrent_trials 屬性。

屬性 說明
training_mode 表示定型模式 distributed 或 non_distributed。 預設為 non_distributed。
enable_dnn_training 設定此旗標以啟用深度類神經網路模型。
max_concurrent_trials 這是平行定型的試用模型數目上限。 預設值為 1。
max_nodes 要用於定型的節點總數。 此設定必須大於或等於 2。 對於預測工作，每個試用模型都是使用 $\text{max}\left(2, \text{floor}( \text{max_nodes} / \text{max_concurrent_trials}) \right)$ 節點來定型。

下列程式碼範例顯示預測作業的這些設定的範例：

from azure.ai.ml.constants import TabularTrainingMode

# Set the training mode to distributed
forecasting_job.set_training(
    enable_dnn_training=True,
    allowed_training_algorithms=["TCNForecaster"],
    training_mode=TabularTrainingMode.DISTRIBUTED
)

# Distribute training across 4 nodes
# Train 2 trial models in parallel => 2 nodes per trial
forecasting_job.set_limits(
    max_concurrent_trials=2,
    max_nodes=4,
    # other limit settings
)

如需完整組態程式碼的範例，請參閱先前的組態和作業提交小節。

下一步