ParallelRunStep 类

参考

创建 Azure 机器学习管道步骤异步并行处理大量数据。

注意

azureml-contrib-pipeline-steps 包已弃用并已由 azureml-pipeline-steps 取代。

请使用新包中的 ParallelRunStep 类。

有关使用 ParallelRunStep 的示例，请参阅笔记本 https://aka.ms/batch-inference-notebooks。

有关故障排除指南，请参阅 https://aka.ms/prstsg。可在此处找到更多参考资料。

继承: azureml.pipeline.core._python_script_step_base._PythonScriptStepBase

ParallelRunStep

构造函数

ParallelRunStep(name, parallel_run_config, inputs, output=None, side_inputs=None, models=None, arguments=None, allow_reuse=True, tags=None, properties=None, add_parallel_run_step_dependencies=True)

参数

name: str

必需

步骤的名称。对于工作区，必须是唯一的，仅包含小写字母、数字或短划线，以字母开头，且长度在 3 到 32 个字符之间。

parallel_run_config: ParallelRunConfig

必需

用于确定所需运行属性的 ParallelRunConfig 对象。

inputs: list[DatasetConsumptionConfig]

必需

输入数据集的列表。列表中的所有数据集应属于同一类型。

output: PipelineData, OutputPortBinding

默认值: None

输出端口绑定，可供后面的管道步骤使用。

side_inputs: list[PipelineData]

默认值: None

侧输入引用数据的列表。

models: list[Model]

默认值: None

零个或多个模型对象的列表。此列表仅用于跟踪管道到模型版本的映射。模型不会复制到容器。使用 Model 类的 get_model_path 方法在 entry_script 的 init 函数中检索模型。

arguments: list[str]

默认值: None

要传递到 Python entry_script 的命令行参数的列表。

allow_reuse: bool

默认值: True

当使用相同的设置/输入运行时，该步骤是否应重用以前的结果。如果为 false，则在管道执行过程中将始终为此步骤生成新的运行。

tags: dict[str, str]

默认值: None

此步骤的键值标记字典。

properties: bool

默认值: None

此步骤的键值属性字典。

add_parallel_run_step_dependencies

默认值: True

[已弃用] 是否添加 ParallelRunStep 的运行时依赖项。其中包括：

azure-storage-queue~=2.1
azure-storage-common~=2.1
azureml-core~=1.0
azureml-telemetry~=1.0
filelock~=3.0
azureml-dataset-runtime[fuse,pandas]~=1.1
psutil

注解

ParallelRunStep 类可用于涉及大量数据且不区分时间的任何类型的处理作业，例如批量训练或批量评分。 ParallelRunStep 的工作原理是将大型作业分解为并行处理的批。可以通过 ParallelRunConfig 类控制批大小和并行处理的程度。 ParallelRunStep 可以作为输入用于 TabularDataset 或 FileDataset。

若要使用 ParallelRunStep 类，典型模式如下：

创建一个 ParallelRunConfig 对象用于指定批处理的执行方式，该对象的参数可控制批大小、每个计算目标的节点数，以及对自定义 Python 脚本的引用。
创建使用 ParallelRunConfig 对象的 ParallelRunStep 对象，并定义该步骤的输入和输出，以及要使用的模型列表。
在 Pipeline 中使用配置的 ParallelRunStep 对象，就像使用 steps 包中定义的管道步骤类型一样。

以下文章讨论了使用 ParallelRunStep 和 ParallelRunConfig 类进行批量推理的示例：

教程：生成用于批量评分的 Azure 机器学习管道。本文介绍如何在管道中将这两个类用于异步批评分，并使 REST 终结点能够运行管道。
使用 Azure 机器学习对大量数据运行批处理推理。本文介绍如何通过自定义推理脚本和基于 MNIST 数据集的预先训练的图像分类模型以异步和并行方式处理大量数据。


   from azureml.contrib.pipeline.steps import ParallelRunStep, ParallelRunConfig

   parallel_run_config = ParallelRunConfig(
       source_directory=scripts_folder,
       entry_script=script_file,
       mini_batch_size="5",
       error_threshold=10,
       output_action="append_row",
       environment=batch_env,
       compute_target=compute_target,
       node_count=2)

   parallelrun_step = ParallelRunStep(
       name="predict-digits-mnist",
       parallel_run_config=parallel_run_config,
       inputs=[ named_mnist_ds ],
       output=output_dir,
       models=[ model ],
       arguments=[ ],
       allow_reuse=True
   )

有关此示例的详细信息，请参阅笔记本 https://aka.ms/batch-inference-notebooks。

方法

create_module_def

创建描述步骤的模块定义对象。

此方法不能直接使用。

create_node

为 PythonScriptStep 创建节点并将其添加到指定的图。

此方法不能直接使用。通过 ParallelRunStep 实例化管道时，Azure 机器学习会自动通过此方法传递所需的参数，以便可以将步骤添加到表示工作流的管道图中。

create_module_def

创建描述步骤的模块定义对象。

此方法不能直接使用。

create_module_def(execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, arguments=None)

参数

execution_type: str

必需

模块的执行类型。

input_bindings: list

必需

步骤输入绑定。

output_bindings: list

必需

步骤输出绑定。

param_defs: list

默认值: None

步骤参数定义。

create_sequencing_ports: bool

默认值: True

如果为 true，则将为模块创建有序端口。

allow_reuse: bool

默认值: True

如果为 true，则在将来的管道中可重用该模块。

version: str

默认值: None

模块的版本。

arguments: list

默认值: None

调用此模块时使用的批注参数列表。

模块定义对象。

返回类型

ModuleDef

create_node

为 PythonScriptStep 创建节点并将其添加到指定的图。

create_node(graph, default_datastore, context)

参数

graph: Graph

必需

图对象。

default_datastore: AbstractAzureStorageDatastore 或 AzureDataLakeDatastore

必需

默认数据存储。

context: <xref:azureml.pipeline.core._GraphContext>

必需

上下文。

创建的节点。

返回类型

Node

ParallelRunStep 类

构造函数

参数

注解

方法

create_module_def

参数

返回

返回类型

create_node

参数

返回

返回类型

反馈