你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

监视部署到生产环境的模型的性能（预览版）

项目
04/09/2024

适用范围：Azure CLI ml 扩展 v2（最新版）Python SDK azure-ai-ml v2（最新版）

了解如何使用 Azure 机器学习的模型监控来持续跟踪机器学习模型在生产环境中的性能。模型监控为你提供监视信号的大致视图，并提醒你注意潜在的问题。监视模型在生产环境中的信号和性能指标时，你可以批判性地评估与这些指标相关的固有风险，并识别可能对业务产生不利影响的盲点。

本文介绍如何执行以下任务：

对部署到 Azure 机器学习联机终结点的模型执行现成的高级监视
监视生产环境中模型的性能指标
监视部署在 Azure 机器学习外部或部署到 Azure 机器学习批处理终结点的模型
使用自定义信号和指标设置模型监视
解释监视结果
将 Azure 机器学习模型监控与 Azure 事件网格相集成

先决条件

在按照本文中的步骤操作之前，请确保满足以下先决条件：

Azure CLI 和 Azure CLI 的 ml 扩展。有关详细信息，请参阅安装、设置和使用 CLI (v2)。

重要

本文中的 CLI 示例假定你使用的是 Bash（或兼容的）shell。例如，从 Linux 系统或者适用于 Linux 的 Windows 子系统。
Azure 机器学习工作区。如果没有，请使用安装、设置和使用 CLI (v2) 中的步骤创建一个。

在按照本文中的步骤操作之前，请确保满足以下先决条件：

Azure 机器学习工作区。如果没有，请使用快速入门：创建工作区资源一文中的步骤创建一个。
若要安装 Python SDK v2，请使用以下命令：
```
pip install azure-ai-ml azure-identity
```
要将 SDK 的现有安装更新到最新版本，请使用以下命令：
```
pip install --upgrade azure-ai-ml azure-identity
```
有关详细信息，请参阅安装适用于 Azure 机器学习的 Python SDK v2。

Azure 基于角色的访问控制 (Azure RBAC) 用于授予对 Azure 机器学习中的操作的访问权限。若要执行本文中的步骤，必须为用户帐户分配 Azure 机器学习工作区的所有者或参与者角色，或者分配一个允许 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 的自定义角色。有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。
若要监视部署到 Azure 机器学习联机终结点（托管联机终结点或 Kubernetes 联机终结点）的模型，请确保：
- 有模型已部署到 Azure 机器学习联机终结点。支持托管联机终结点和 Kubernetes 联机终结点。如果未将模型部署到 Azure 机器学习联机终结点，请参阅使用联机终结点部署机器学习模型并评分。
- 为模型部署启用数据收集。可以在 Azure 机器学习联机终结点的部署步骤期间启用数据收集。有关详细信息，请参阅从部署到实时终结点的模型中收集生产数据。
若要监视部署到 Azure 机器学习批处理终结点或部署在 Azure 机器学习外部的模型，请确保：
- 有方法来收集生产数据并将其注册为 Azure 机器学习数据资产。
- 持续更新已注册的数据资产来进行模型监视。
- （推荐）在 Azure 机器学习工作区中注册模型来进行世系跟踪。

重要

根据计划，模型监视作业在支持以下 VM 实例类型的无服务器 Spark 计算池上运行：Standard_E4s_v3、Standard_E8s_v3、Standard_E16s_v3、Standard_E32s_v3 和 Standard_E64s_v3。可以在 YAML 配置中选择具有 create_monitor.compute.instance_type 属性的 VM 实例类型，也可以从 Azure 机器学习工作室的下拉列表中进行选择。

设置现成的模型监视

假设将模型部署到 Azure 机器学习联机终结点中的生产环境，并在部署时启用数据收集。在此方案中，Azure 机器学习会收集生产推理数据，并将其自动存储在 Microsoft Azure Blob 存储中。然后，可以使用 Azure 机器学习模型监控来持续监视此生产推理数据。

可以使用 Azure CLI、Python SDK 或工作室进行现成的模型监视设置。现成的模型监视配置提供以下监视功能：

Azure 机器学习会自动检测与 Azure 机器学习联机部署关联的生产推理数据集，并使用该数据集进行模型监视。
比较参考数据集设置为最近的历史生产推理数据集。
监视设置自动包含并跟踪内置监视信号：数据偏移、预测偏移和数据质量。对于每个监视信号，Azure 机器学习使用：
- 最近的历史生产推理数据集用作比较参考数据集。
- 指标和阈值的智能默认值。
监视作业计划于每天凌晨 3:15 运行（在此示例中），从而获取监视信号并根据其相应的阈值评估每个指标结果。默认情况下，超出任何阈值时，Azure 机器学习会向设置监视的用户发送警报电子邮件。

Azure 机器学习模型监控使用 az ml schedule 安排监视作业。可使用以下 CLI 命令和 YAML 定义创建现成的模型监视器：

az ml schedule create -f ./out-of-box-monitoring.yaml

以下 YAML 包含现成模型监视的定义。

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

可使用以下代码设置现成的模型监视：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create the compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify your online endpoint deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)


# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# specify the schedule frequency
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create the monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

设置高级模型监视

Azure 机器学习为持续模型监视提供了许多功能。有关这些功能的完整列表，请参阅模型监控功能。在许多情况下，需要设置具有高级监视功能的模型监视。在以下部分，你将使用这些功能设置模型监视：

使用多个监视信号获得广泛视图。
将历史模型训练数据或验证数据用作比较参考数据集。
监视前 N 个最重要的特征和单个特征。

配置特征重要性

特征重要性表示每个输入特征对模型输出的相对重要性。例如，与 elevation 相比，temperature 对模型的预测可能更重要。启用特征重要性后，你可了解你不希望哪些特征偏移或在生产环境中存在数据质量问题。

若要使用任何信号（例如数据偏移或数据质量）启用特征重要性，你需要提供：

训练数据集，用作 reference_data 数据集。
reference_data.data_column_names.target_column 属性，它是模型的输出/预测列的名称。

启用特征重要性后，你将在 Azure 机器学习模型监控工作室 UI 中看到要监视的每个特征的特征重要性。

可以使用 Azure CLI、Python SDK 或工作室进行高级模型监视设置。

使用以下 CLI 命令和 YAML 定义创建高级模型监视设置：

az ml schedule create -f ./advanced-model-monitoring.yaml

以下 YAML 包含高级模型监视的定义。

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

将以下代码用于高级模型监视设置：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify the online deployment (if you have one)
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)

# specify a lookback window size and offset, or omit this to use the defaults, which are specified in the documentation
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_inputs:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-default-reference:1"
    ),
    data_column_names={
        "target_column":"DEFAULT_NEXT_MONTH"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)

# create an advanced prediction drift signal
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds
)

# create an advanced data quality signal
features = ['SEX', 'EDUCATION', 'AGE']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# create feature attribution drift signal
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# specify the frequency on which to run your monitor
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create your monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置高级监视，请执行以下操作：

按照先前在设置现成的模型监视部分所述，完成“基本设置”页上的全部内容。
选择“下一步”，打开“高级设置”部分的“配置数据资产”页。
添加一个数据集来用作参考数据集。建议将模型训练数据用作数据偏移和数据质量的比较参考数据集。此外，将模型验证数据用作预测偏移的比较参考数据集。
选择“下一步”来转到“选择监视信号”页。在此页面上，你将看到已添加一些监视信号（如果之前选择了 Azure 机器学习联机部署）。信号（数据偏移、预测偏移和数据质量）将最近的历史生产数据作为比较参考数据集，并对指标和阈值使用智能默认值。
选择数据偏移信号旁边的“编辑”。
在“编辑信号”窗口中配置数据偏移，如下所示：
1. 在步骤 1 中，对于生产数据资产，请选择模型输入数据集。还请进行以下选择：
  - 选择所需的回溯窗口大小。
2. 在步骤 2 中，对于参考数据资产，请选择你的训练数据集。还请进行以下选择：
  - 选择目标（输出）列。
3. 在步骤 3 中，选择监视前 N 个最重要特征的偏移，或者监视特定特征集的偏移。
4. 在步骤 4 中，选择要用于数字特征的首选指标和阈值。
5. 在步骤 5 中，选择要用于类别特征的首选指标和阈值。
选择“保存”，返回到“选择监视信号”页面。
选择“添加”以打开“编辑信号”窗口。
选择“特征属性偏移(预览)”来配置特征属性偏移信号，如下所示：
1. 在步骤 1 中，选择模型输入的生产数据集
  - 另请选择所需的回溯窗口大小。
2. 在步骤 2 中，选择模型输出的生产数据集。
  - 另请选择这些数据资产之间的通用列来将它们联接在一起。如果使用数据收集器来收集数据，则通用列为 correlationid。
3. （可选）如果使用数据收集器来收集模型输入和输出已联接的数据，请选择联接的数据集作为生产数据资产（在步骤 1 中）
  - 此外，在配置面板中删除步骤 2。
4. 在步骤 3 中，选择要用作参考数据集的训练数据集。
  - 此外，为训练数据集选择目标（输出）列。
5. 在步骤 4 中，选择首选指标和阈值。
选择“保存”，返回到“选择监视信号”页面。
完成监视信号配置后，选择“下一步”来转到“通知”页。
在“通知”页上，为每个信号启用警报通知，然后选择“下一步”。
在“查看监视设置”页面查看设置。
选择“创建”以创建高级模型监视器。

设置模型性能监视

使用 Azure 机器学习模型监控，可以通过计算模型的性能指标来跟踪模型在生产环境中的性能。目前支持以下模型性能指标：

对于分类模型：

Precision
准确性
Recall

对于回归模型：

平均绝对误差 (MAE)
均方误差 (MSE)
均方根误差 (RMSE)

有关模型性能监视的更多先决条件

必须满足以下先决条件才能配置模型性能信号：

对生产模型具有输出数据（模型的预测结果），每一行有唯一 ID。如果使用 Azure 机器学习数据收集器来收集生产数据，会为每个推理请求提供 correlation_id。使用数据收集器，还可以选择从应用程序记录自己的唯一 ID。

注意

对于 Azure 机器学习模型性能监视，建议使用 Azure 机器学习数据收集器将唯一 ID 记录在其自己的列中。
具有真实数据（实际值），每一行具有唯一 ID。给定行的唯一 ID 应与该特定推理请求的模型输出的唯一 ID 匹配。此唯一 ID 用于将真实数据集与模型输出联接。

如果没有真实数据，无法执行模型性能监视。由于在应用程序级别遇到真实数据，因此在数据可用时，需要负责收集这些数据。还应在 Azure 机器学习中维护包含此真实数据的数据资产。
（可选）具有预先联接的表格数据集，其中的模型输出和真实数据也已联接在一起。

使用数据收集器时监视模型性能要求

如果使用 Azure 机器学习数据收集器来收集生产推理数据，而不为每个行提供自己的唯一 ID 作为单独的列，则会自动生成 correlationid 并将其包含在记录的 JSON 对象中。但是，数据收集器将批处理彼此发送时间间隔较短的行。批处理的行将位于同一 JSON 对象中，因此具有相同的 correlationid。

为了区分同一 JSON 对象中的行，Azure 机器学习模型性能监视使用索引来确定 JSON 对象中行的顺序。例如，如果同时批处理 3 个行，并且 correlationid 是 test，那么第一行的 ID 为 test_0，第二行的 ID 为 test_1，第三行的 ID 为 test_2。若要确保真实数据集包含与收集的生产推理模型输出匹配的唯一 ID，请确保适当地索引每个 correlationid。如果记录的 JSON 对象只有一行，则 correlationid 为 correlationid_0。

为了避免使用此索引，建议在 pandas DataFrame 中其自己的列中记录唯一 ID，该列使用 Azure 机器学习数据收集器进行日志记录。然后，在模型监控配置中，指定此列的名称，以将模型输出数据与真实数据联接。只要这两个数据集中的每个行的 ID 相同，Azure 机器学习模型监控就可以执行模型性能监视。

监视模型性能的示例工作流

若要了解与模型性能监视关联的概念，请考虑此示例工作流。假设你要部署一个模型来预测信用卡交易是否存在欺诈，可按照以下步骤监视模型的性能：

将部署配置为使用数据收集器收集模型的生产推理数据（输入和输出数据）。假设输出数据存储在列 is_fraud 中。
对于收集的推理数据的每一行，请记录唯一 ID。唯一 ID 可以来自应用程序，你也可使用 Azure 机器学习为每个记录的 JSON 对象唯一生成的 correlationid。
稍后，当真实（或实际）is_fraud 数据变得可用时，该数据也会被记录并映射到与模型输出记录的相同唯一 ID。
此真实 is_fraud 数据也会作为数据资产收集、维护和注册到 Azure 机器学习。
创建模型性能监视信号，该信号使用唯一 ID 列将模型的生产推理和真实数据资产联接来一起。
最后，计算模型性能指标。

满足模型性能监视的先决条件后，可以使用以下 CLI 命令和 YAML 定义设置模型监控：

az ml schedule create -f ./model-performance-monitoring.yaml

以下 YAML 包含使用收集的生产推理数据进行模型监视的定义。

$schema:  http://azureml/sdk-2-0/Schedule.json
name: model_performance_monitoring
display_name: Credit card fraud model performance
description: Credit card fraud model performance

trigger:
  type: recurrence
  frequency: day
  interval: 7 
  schedule: 
    hours: 10
    minutes: 15
  
create_monitor:
  compute: 
    instance_type: standard_e8s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment

  monitoring_signals:
    fraud_detection_model_performance: 
      type: model_performance 
      production_data:
        data_column_names:
          prediction: is_fraud
          correlation_id: correlation_id
      reference_data:
        input_data:
          path: azureml:my_model_ground_truth_data:1
          type: mltable
        data_column_names:
          actual: is_fraud
          correlation_id: correlation_id
        data_context: actuals
      alert_enabled: true
      metric_thresholds: 
        tabular_classification:
          accuracy: 0.95
          precision: 0.8
  alert_notification: 
      emails: 
        - abc@example.com

满足模型性能监视的先决条件后，可以使用以下 Python 代码设置模型监控：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# reference your azureml endpoint and deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# MDC-generated production data with data column names 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_outputs:1"
    ),
    data_column_names={
        "target_column": "DEFAULT_NEXT_MONTH",
        "join_column": "correlationid"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# ground truth reference data 
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-ground-truth:1"
    ),
    data_column_names={
        "target_column": "ground_truth",
        "join_column": "correlationid"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# create the model performance signal
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'model_performance':model_performance,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置模型性能监视，请执行以下操作：

按照先前在设置现成的模型监控部分所述，完成“基本设置”页上的全部内容。
选择“下一步”，打开“高级设置”部分的“配置数据资产”页。
选择“+ 添加”，添加用作真实数据集的数据集。

确保模型输出数据集也包含在添加的数据集列表中。添加的真实数据集应具有唯一 ID 列。真实数据集和模型输出数据集的唯一 ID 列中的值必须匹配，以便这两个数据集在指标计算之前联接在一起。
选择“下一步”来转到“选择监视信号”页。在此页面上，你将看到已添加一些监视信号（如果之前选择了 Azure 机器学习联机部署）。
删除此页面上的现有监视信号，因为你只希望创建模型性能监视信号。
选择“添加”以打开“编辑信号”窗口。
选择“模型性能(预览)”来配置模型性能信号，如下所示：
1. 在步骤 1 中，对于生产数据资产，请选择模型输出数据集。还请进行以下选择：
  - 选择适当的目标列（例如 is_fraud）。
  - 选择所需的回溯窗口大小和回溯窗口偏移量。
2. 在步骤 2 中，对于参考数据资产，请选择前面添加的真实数据资产。还请进行以下选择：
  - 选择适当的目标列。
  - 选择要对其执行与模型输出数据集的联接的列。用于联接的列应该是两个数据集之间通用的列，并且数据集中的每个行都有唯一 ID（例如 correlationid）。
3. 在步骤 3 中，选择所需的性能指标并指定各自的阈值。
选择“保存”，返回到“选择监视信号”页面。
选择“下一步”来转到“通知”页。
在“通知”页上，为模型性能信号启用警报通知，然后选择“下一步”。
在“查看监视设置”页面查看设置。
选择“创建”以创建模型性能监视器。

通过将生产数据引入 Azure 机器学习来设置模型监控

还可以为部署到 Azure 机器学习批处理终结点或部署在 Azure 机器学习外部的模型设置模型监视。如果没有部署，但有生产数据，可使用这些数据来执行持续的模型监视。若要监视这些模型，你必须能够：

从生产环境中部署的模型收集生产推理数据。
将生产推理数据注册为 Azure 机器学习数据资产，并确保数据持续更新。
提供自定义数据预处理组件，并将其注册为 Azure 机器学习组件。

如果未使用数据收集器收集数据，则必须提供自定义数据预处理组件。如果没有此自定义数据预处理组件，Azure 机器学习模型监控系统将不知道如何将数据处理成支持时间窗口的表格形式。

自定义预处理组件必须具有以下输入和输出签名：

输入/输出	签名名称	类型	描述	示例值
input	`data_window_start`	文本，字符串	数据窗口开始时间（ISO8601 格式）。	2023-05-01T04:31:57.012Z
input	`data_window_end`	文本，字符串	数据窗口结束时间（ISO8601 格式）。	2023-05-01T04:31:57.012Z
input	`input_data`	uri_folder	收集的生产推理数据，注册为 Azure 机器学习数据资产。	azureml:myproduction_inference_data:1
output	`preprocessed_data`	mltable	表格数据集，与参考数据架构的子集匹配。

有关自定义数据预处理组件的示例，请参阅 azuremml-examples GitHub 存储库中的 custom_preprocessing。

满足上述要求后，可以使用以下 CLI 命令和 YAML 定义设置模型监视：

az ml schedule create -f ./model-monitoring-with-collected-data.yaml

以下 YAML 包含使用收集的生产推理数据进行模型监视的定义。

# model-monitoring-with-collected-data.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with your own production data

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:
  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
  
  monitoring_signals:

    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_inputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_training_data:1 # use training data as comparison baseline
          type: mltable
        data_context: training
        data_column_names:
          target_column: is_fraud
      features: 
        top_n_feature_importance: 20 # monitor drift for top 20 features
      metric_thresholds:
        numberical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02

    advanced_prediction_drift: # monitoring signal name, any user defined name works
      type: prediction_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_outputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
          type: mltable
        data_context: validation
      metric_thresholds:
        categorical:
          pearsons_chi_squared_test: 0.02
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

满足上述要求后，可使用以下 Python 代码设置模型监视：

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.2"
)

#define target dataset (production dataset)
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:my_model_production_data:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:production_data_preprocessing:1"
)


# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:my_model_training_data:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)


# create an advanced data quality signal
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled="False"
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

使用自定义信号和指标设置模型监视

借助 Azure 机器学习模型监控，可定义自定义信号，并实现所选的任何指标来监视模型。可以将此自定义信号注册为 Azure 机器学习组件。当 Azure 机器学习模型监控作业按指定的时间安排运行时，该作业会计算你在自定义信号中定义的指标，就像对待预生成的信号（数据偏移、预测偏移和数据质量）那样。

若要设置用于模型监视的自定义信号，必须先定义自定义信号，并将其注册为 Azure 机器学习组件。 Azure 机器学习组件必须具有以下输入和输出签名：

组件输入签名

组件输入数据帧应包含以下项：

mltable，其中包含预处理组件中已处理的数据
任何数量的文本，每个文本表示作为自定义信号组件的一部分实现的指标。例如，如果已实现指标 std_deviation，则需要 std_deviation_threshold 的输入。通常，每个指标应有一个名称为 <metric_name>_threshold 的输入。

签名名称	类型	描述	示例值
production_data	mltable	表格数据集，与参考数据架构的子集匹配。
std_deviation_threshold	文本，字符串	所实现指标的相应阈值。	2

组件输出签名

组件输出端口应具有以下签名。

签名名称	类型	描述
signal_metrics	mltable	包含计算指标的 mltable。架构是在名为“signal_metrics 架构”的下一部分中定义的。

signal_metrics 架构

组件输出数据帧应包含 4 列：group、metric_name、metric_value 和 threshold_value。

签名名称	类型	描述	示例值
group	文本，字符串	要应用于此自定义指标的顶级逻辑分组。	TRANSACTIONAMOUNT
metric_name	文本，字符串	自定义指标的名称。	std_deviation
metric_value	数值	自定义指标的值。	44,896.082
threshold_value	数值	自定义指标的阈值。	2

下表显示了计算 std_deviation 指标的自定义信号组件的示例输出：

' group '	metric_value	metric_name	threshold_value
TRANSACTIONAMOUNT	44,896.082	std_deviation	2
LOCALHOUR	3.983	std_deviation	2
TRANSACTIONAMOUNTUSD	54,004.902	std_deviation	2
DIGITALITEMCOUNT	7.238	std_deviation	2
PHYSICALITEMCOUNT	5.509	std_deviation	2

若要查看自定义信号组件定义和指标计算代码示例，请参阅 azureml-examples 存储库中的 custom_signal。

满足使用自定义信号和指标的要求后，可使用以下 CLI 命令和 YAML 定义设置模型监视：

az ml schedule create -f ./custom-monitoring.yaml

以下 YAML 包含使用自定义信号进行的模型监视的定义。有关代码的一些注意事项：

假设你已创建具有自定义信号定义的组件并将其注册到 Azure 机器学习。
已注册的自定义信号组件的 component_id 为 azureml:my_custom_signal:1.0.0。
如果已使用数据收集器收集数据，可以省略 pre_processing_component 属性。如果要使用预处理组件来预处理数据收集器未收集的生产数据，可以指定它。

# custom-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: my-custom-signal
trigger:
  type: recurrence
  frequency: day # can be minute, hour, day, week, month
  interval: 7 # #every day
create_monitor:
  compute:
    instance_type: "standard_e4s_v3"
    runtime_version: "3.3"
  monitoring_signals:
    customSignal:
      type: custom
      component_id: azureml:my_custom_signal:1.0.0
      input_data:
        production_data:
          input_data:
            type: uri_folder
            path: azureml:my_production_data:1
          data_context: test
          data_window:
            lookback_window_size: P30D
            lookback_window_offset: P7D
          pre_processing_component: azureml:custom_preprocessor:1.0.0
      metric_thresholds:
        - metric_name: std_deviation
          threshold: 2
  alert_notification:
    emails:
      - abc@example.com

解释监视结果

配置模型监视器并完成第一次运行后，可以导航回 Azure 机器学习工作室中的“监视”选项卡来查看结果。

在主“监视”视图中，选择模型监视器的名称以查看“监视概述”页。此页面显示了相应的模型、终结点和部署，以及所配置的信号的详细信息。下图显示了一个监视仪表板，其中包括数据偏移和数据质量信号。根据配置的监视信号，仪表板看起来可能有所不同。
访问仪表板的“通知”部分，查看对于每个信号，哪些特征违反了为其各自指标配置的阈值：
选择“data_drift”以转到数据偏移详细信息页。在详细信息页上，可以看到监视配置中包含的每个数值和分类特征的数据偏移指标值。当监视器有多个运行时，你将看到每个特征的趋势线。
若要详细查看单个特征，请选择特征的名称来查看与参考分布相比的生产分布。通过此视图，还可跟踪该特定特征随时间变化的偏移情况。
返回到监视仪表板，然后选择“data_quality”来查看数据质量信号页。在此页面上，可以看到要监视的每个特征的空值率、超出边界率和数据类型错误率。

模型监视是一个持续的过程。使用 Azure 机器学习模型监控，可配置多个监视信号来大致了解模型在生产环境中的性能。

将 Azure 机器学习模型监控与 Azure 事件网格相集成

可以使用 Azure 机器学习模型监控功能生成的事件，通过 Azure 事件网格设置事件驱动的应用程序、流程或 CI/CD 工作流。可通过各种事件处理程序（例如 Azure 事件中心、Azure Functions 和逻辑应用）来使用事件。根据监视器检测到的偏移，你可以编程方式执行操作，例如设置机器学习管道来重新训练模型并重新部署模型。

若要开始将 Azure 机器学习模型监控与事件网格相集成，请执行以下操作：

按照在 Azure 门户中设置的步骤操作。为事件订阅提供一个名称（例如 MonitoringEvent），然后只在“事件类型”下选择“运行状态已更改”框。

警告

请务必为事件类型选择“运行状态已更改”。不要选择“检测到数据集偏移”，因为它适用于数据偏移 v1，而不是 Azure 机器学习模型监控。
按照筛选和订阅事件中的步骤，为你的方案设置事件筛选。导航到“筛选器”选项卡，在“高级筛选器”下添加以下键、运算符和值：
- 键：data.RunTags.azureml_modelmonitor_threshold_breached
- 值：失败，原因是一个或多个特征违反指标阈值
- 运算符：字符串 contains
借助此筛选器，当 Azure 机器学习工作区中的任何监视器的运行状态更改（从“已完成”变为“失败”或从“失败”变为“已完成”）时，会生成事件。
若要筛选监视级别，请在“高级筛选器”下使用以下键、运算符和值：
- 键：data.RunTags.azureml_modelmonitor_threshold_breached
- 值：your_monitor_name_signal_name
- 运算符：字符串 contains
确保 your_monitor_name_signal_name 是要为其筛选事件的特定监视器中的信号的名称。例如 credit_card_fraud_monitor_data_drift。要使此筛选器正常工作，此字符串必须与监视信号的名称匹配。对于这种情况，应使用监视器名称和信号名称来为信号命名。
完成“事件订阅”配置后，请选择用作事件处理程序的所需终结点，例如 Azure 事件中心。
捕获事件后，可以从终结点页查看它们：

还可以在 Azure Monitor 的“指标”选项卡中查看事件：

Share via

监视部署到生产环境的模型的性能（预览版）

先决条件

设置现成的模型监视

设置高级模型监视

配置特征重要性

设置模型性能监视

有关模型性能监视的更多先决条件

使用数据收集器时监视模型性能要求

监视模型性能的示例工作流

通过将生产数据引入 Azure 机器学习来设置模型监控

使用自定义信号和指标设置模型监视

组件输入签名

组件输出签名

signal_metrics 架构

解释监视结果

将 Azure 机器学习模型监控与 Azure 事件网格相集成

其他资源

Share via

监视部署到生产环境的模型的性能（预览版）

先决条件

设置现成的模型监视

设置高级模型监视

配置特征重要性

设置模型性能监视

有关模型性能监视的更多先决条件

使用数据收集器时监视模型性能要求

监视模型性能的示例工作流

通过将生产数据引入 Azure 机器学习来设置模型监控

使用自定义信号和指标设置模型监视

组件输入签名

组件输出签名

signal_metrics 架构

解释监视结果

将 Azure 机器学习模型监控与 Azure 事件网格相集成

相关内容

其他资源