你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

计划数据导入作业（预览）

项目
06/22/2023

适用范围：Azure CLI ml 扩展 v2（最新版）Python SDK azure-ai-ml v2（最新版）

在本文中，你将了解如何以编程方式计划数据导入，以及如何使用计划 UI 执行相同的操作。可以基于运行时间创建计划。基于时间的计划可用于处理例程任务，例如定期导入数据以使其保持最新状态。了解如何创建计划后，你将了解如何通过 CLI、SDK 和工作室 UI 检索、更新和停用它们。

先决条件

必须拥有 Azure 订阅，才能使用 Azure 机器学习。如果没有 Azure 订阅，请在开始操作前先创建一个免费帐户。立即试用免费版或付费版 Azure 机器学习。

安装 Azure CLI 和 ml 扩展。按照安装、设置和使用 CLI (v2)中的安装步骤执行操作。
创建 Azure 机器学习工作区（如果没有）。有关工作区的创建，请参阅安装、设置和使用 CLI (v2)。

计划数据导入

要定期导入数据，必须创建计划。 Schedule 可关联数据导入操作和触发器。触发器可以是 cron，其使用 cron 表达式来描述运行之间的等待，也可以是 recurrence，其指定触发作业的频率。在每种情况下，都必须首先定义导入数据定义。现有数据导入或内联定义的数据导入对此有效。请参阅在 CLI、SDK 和 UI 中创建数据导入。

创建计划

使用定期模式创建基于时间的计划

适用于：Azure CLI ml 扩展 v2（当前版本）

YAML：使用定期模式的数据导入计划

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML：与托管数据存储上定期模式内联的数据导入定义计划

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

trigger 包含以下属性：

（必需）type 会将计划类型指定为 recurrence 或 cron。有关详细信息，请参阅以下部分。

接下来，在 CLI 中运行以下命令：

> az ml schedule create -f <file-name>.yml

适用于：Python SDK azure-ai-ml v2（当前版本）

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger 包含以下属性：

（必需）为了提供更好的编码体验，定期计划使用 RecurrenceTrigger。

注意

这些属性适用于 CLI 和 SDK：

（必需）frequency 指定描述计划触发频率的时间单位。可以具有 minute、hour、day、week 或 month 的值。
（必需）interval 指定计划触发频率的值，即计划再次触发之前需等待的时间单位数。
（可选）schedule 定义定期模式，包含 hours、minutes 和 weekdays。
- 当 frequency 等于 day 时，模式可以指定 hours 和 minutes。
- 当 frequency 等于 week 和 month 时，模式可以指定 hours、minutes 和 weekdays。
- hours 应为整数或列表，范围介于 0 和 23 之间。
- minutes 应为整数或列表，范围介于 0 和 59 之间。
- weekdays 是介于 monday 和 sunday 之间的字符串或列表。
- 如果省略 schedule，则将根据 start_time、frequency 和 interval 的逻辑触发作业。
（可选）start_time 使用时区说明开始日期和时间。如果省略 start_time，则 start_time 等于作业创建时间。如果开始时间在过去，则第一个作业将在下一个计算的运行时间运行。
（可选）end_time 使用时区描述结束日期和时间。如果省略 end_time，则在手动禁用计划之前，计划会继续触发作业。
（可选）time_zone 指定定期的时区。如果省略，则默认时区为 UTC。若要了解有关时区值的详细信息，请参阅时区值附录。

使用 cron 表达式创建基于时间的计划

YAML：使用 cron 表达式计划数据导入

适用于：Azure CLI ml 扩展 v2（当前版本）

YAML：使用 cron 表达式（预览版）计划数据导入

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML：计划与 cron 表达式（预览版）内联的数据导入定义

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

trigger 部分定义计划详细信息，其包含以下属性：

（必需）type 指定计划类型为 cron。

> az ml schedule create -f <file-name>.yml

列表将在此处继续：

适用于：Python SDK azure-ai-ml v2（当前版本）

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

CronTrigger 部分定义计划详细信息，其包含以下属性：

（必需）为了提供更好的编码体验，定期计划使用 CronTrigger。

列表将在此处继续：

（必需）expression 使用标准 crontab 表达式来表示一个定期计划。单个表达式由 5 个空格分隔的字段组成：

MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

单个通配符 (*) 涵盖字段的所有值。 *（以日为单位）表示一个月中的全部天数（因月份和年份而异）。
上例中的 expression: "15 16 * * 1" 表示每周一下午 16:15。

下表列出了每个字段的有效值：

字段	范围	注释
`MINUTES`	0-59	-
`HOURS`	0-23	-
`DAYS`	-	不支持。该值将被忽略并视为 `*`。
`MONTHS`	-	不支持。该值将被忽略并视为 `*`。
`DAYS-OF-WEEK`	0-6	零 (0) 表示星期日。也接受天的名称。

要详细了解 crontab 表达式，请参阅 GitHub 上的 Crontab 表达式 wiki。

重要

不支持 DAYS 和 MONTH。如果传递这些值其中之一，则会将其忽略并视为 *。

（可选）start_time 使用计划的时区指定开始日期和时间。例如，start_time: "2022-05-10T10:15:00-04:00" 表示计划开始于 UTC-4 时区 2022-05-10 上午 10:15:00。如果省略 start_time，则 start_time 等于计划创建时间。如果开始时间在过去，则第一个作业将在下一个计算的运行时间运行。
（可选）end_time 使用时区描述结束日期和时间。如果省略 end_time，则在手动禁用计划之前，计划会继续触发作业。
（可选）time_zone 指定表达式的时区。如果省略，则时区默认为 UTC。请参阅时区值附录。

的限制：

目前，Azure 机器学习 v2 计划不支持基于事件的触发器。
使用 Azure 机器学习 SDK/CLI v2 指定包含多个触发器时间戳的复杂定期模式。 UI 仅显示复杂模式，且不支持编辑。
如果将重复周期设置为每月的第 31 天，则计划在少于 31 天的月份里不会触发作业。

列出工作区中的计划

适用于：Azure CLI ml 扩展 v2（当前版本）

az ml schedule list

适用于：Python SDK azure-ai-ml v2（当前版本）

schedules = ml_client.schedules.list()
[s.name for s in schedules]

检查计划详细信息

适用于：Azure CLI ml 扩展 v2（当前版本）

az ml schedule show -n simple_cron_data_import_schedule

适用于：Python SDK azure-ai-ml v2（当前版本）

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

更新计划

适用于：Azure CLI ml 扩展 v2（当前版）

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

注意

如果要更新除标记/说明以外的其他内容，建议使用 az ml schedule create --file update_schedule.yml

适用于：Python SDK azure-ai-ml v2（当前版本）

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

禁用计划

适用于：Azure CLI ml 扩展 v2（当前版本）

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

启用计划

适用于：Azure CLI ml 扩展 v2（当前版本）

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

适用于：Python SDK azure-ai-ml v2（当前版本）

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

删除计划

重要

在删除之前，必须禁用计划。删除操作是不可恢复的。删除某个计划后，永远无法访问或恢复它。

适用于：Azure CLI ml 扩展 v2（当前版本）

az ml schedule delete -n simple_cron_data_import_schedule

适用于：Python SDK azure-ai-ml v2（当前版本）

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

RBAC（基于角色的访问控制）支持

计划通常用于生产。为了防止出现问题，工作区管理员可能需要在工作区中限制计划创建和管理权限。

目前存在三个与计划相关的操作规则，并且可以在 Azure 门户中配置它们。要了解详细信息，请参阅如何管理对 Azure 机器学习工作区的访问权限。

操作	说明	规则
读取	获取和列出机器学习工作区中的计划	Microsoft.MachineLearningServices/workspaces/schedules/read
写入	在机器学习工作区中创建、更新、禁用和启用计划	Microsoft.MachineLearningServices/workspaces/schedules/write
删除	在机器学习工作区中删除计划	Microsoft.MachineLearningServices/workspaces/schedules/delete

后续步骤

详细了解 CLI (v2) 数据导入计划 YAML 架构。
了解如何管理导入的数据资产。

Share via

计划数据导入作业（预览）

先决条件

计划数据导入

创建计划

使用定期模式创建基于时间的计划

YAML：使用定期模式的数据导入计划

YAML：与托管数据存储上定期模式内联的数据导入定义计划

使用 cron 表达式创建基于时间的计划

YAML：使用 cron 表达式计划数据导入

YAML：使用 cron 表达式（预览版）计划数据导入

YAML：计划与 cron 表达式（预览版）内联的数据导入定义

列出工作区中的计划

检查计划详细信息

更新计划

将数据导入定义更新为现有计划

在计划详细信息页中更新

禁用计划

启用计划

删除计划

RBAC（基于角色的访问控制）支持

后续步骤

其他资源