反馈

ReinforcementLearningEstimator 类

  • 参考

表示用于训练强化学习试验的估算器。

继承
azureml.contrib.train.rl._rl_base_estimator._RLBaseEstimator
ReinforcementLearningEstimator

构造函数

ReinforcementLearningEstimator(source_directory, *, environment=None, entry_script=None, script_params=None, compute_target=None, use_gpu=None, pip_packages=None, conda_packages=None, environment_variables=None, rl_framework=ray-0.8.0, cluster_coordination_timeout_seconds=None, max_run_duration_seconds=None, worker_configuration=None, conda_dependencies_file=None, pip_requirements_file=None, shm_size=None, inputs=None)

参数

source_directory
str
必需

包含试验配置文件的本地目录。

environment
Environment
必需

试验的环境定义。 它包括 PythonSection、DockerSection 和环境变量。 使用此参数可以设置不通过其他参数直接公开到估算器构造的任何环境选项。 如果指定此参数，将基于此参数添加 pip_packages 和 conda_packages 中指定的包。

entry_script
str
必需

包含训练脚本的文件的相对路径。

script_params
dict
必需

要传递给 entry_script 中指定的训练脚本的命令行参数的字典。

compute_target
AbstractComputeTarget 或 str
必需

将运行头脚本的计算目标。 这可以是一个对象或计算目标名称。 AmlWindowsCompute 仅支持将 Azure 文件存储用作装载的存储，且不支持环境定义。

use_gpu
bool
必需

指定环境是否应支持 GPU。 如果为 true，则将在环境中使用基于 GPU 的默认 Docker 映像。 如果为 false，则使用基于 CPU 的映像。 仅当未设置 environment 参数时，才会使用默认 docker 映像（CPU 或 GPU）。

conda_packages
list
必需

表示要添加到此试验的头节点 Python 环境中的 conda 包的字符串列表。

pip_packages
list
必需

表示要添加到此试验的头节点 Python 环境中的 pip 包的字符串列表。

rl_framework
RLFramework
必需

要在试验中使用的业务流程框架。 默认值为 Ray 版本 0.8.0

cluster_coordination_timeout_seconds
int
必需

作业在排队状态过后可以花费在启动上的最长时间，以秒为单位。

max_run_duration_seconds
int
必需

运行所允许的最长时间，以秒为单位。 如果时间超过此值，Azure ML 会尝试自动取消作业。

worker_configuration
WorkerConfiguration
必需

工作器节点的配置。

pip_requirements_file
str
必需

头节点的 pip 要求文本文件的相对路径。 这可以与 pip_packages 参数一起提供。

conda_dependencies_file
str
必需

头节点的 conda 依赖项 yaml 文件的相对路径。

environment_variables
dict
必需

环境变量名称和值的字典。 这些环境变量是在执行 entry_script 的头节点进程上设置的。

shm_size
str
必需

Docker 容器的共享内存块的大小。 如果未设置，则使用默认的 azureml.core.environment._DEFAULT_SHM_SIZE。 有关详细信息，请参阅 Docker 运行参考。

inputs
list
必需

要用作输入的 DataReference 或 DatasetConsumptionConfig 对象的列表。

注解

提交训练作业时，Azure ML 会在 Docker 容器内的 conda 环境中运行脚本。 强化学习容器中已安装以下依赖项。

依赖项 | Ray 0.8.0 | Ray 0.8.3 | ————————————–| —————– | —————– | Python | 3.6.2 | 3.6.2 | CUDA（仅限 GPU 映像）| 10.0 | 10.0 | cuDNN（仅限 GPU 映像）| 7.5 | 7.5 | NCCL（仅限 GPU 映像）| 2.4.2 | 2.4.2 | azureml-defaults | 最新 | 最新 | azureml-contrib-reinforcementlearning | 最新 | 最新 | ray[rllib,dashboard] | 0.8.0 | 0.8.3 | tensorflow | 1.14.0 | 1.14.0 | psutil | 最新 | 最新 | setproctitle | 最新 | 最新 | gym[atari] | 最新 | 最新 |

Docker 映像可扩展 Ubuntu 16.04。

若要在头节点 docker 容器中安装其他依赖项，可以使用 pip_packages 或 conda_packages。 或者，你可以生成自己的映像，并将其作为环境对象的一部分传入环境参数。

强化学习估算器支持使用 Ray（一种用于处理分布式训练的开源框架）进行跨 CPU 和 GPU 群集的分布式训练。

属性

DEFAULT_FRAMEWORK 

DEFAULT_FRAMEWORK = ray-0.8.0