ReinforcementLearningEstimator Kelas

Tunjukkan penghitung untuk melatih eksperimen Pembelajaran Penguatan.

Warisan

azureml.contrib.train.rl._rl_base_estimator._RLBaseEstimator

ReinforcementLearningEstimator

Konstruktor

ReinforcementLearningEstimator(source_directory, *, environment=None, entry_script=None, script_params=None, compute_target=None, use_gpu=None, pip_packages=None, conda_packages=None, environment_variables=None, rl_framework=ray-0.8.0, cluster_coordination_timeout_seconds=None, max_run_duration_seconds=None, worker_configuration=None, conda_dependencies_file=None, pip_requirements_file=None, shm_size=None, inputs=None)

Parameter

source_directory

str

Diperlukan

Direktori lokal yang berisi file konfigurasi eksperimen.

environment

Environment

Diperlukan

Definisi lingkungan untuk percobaan. Ini termasuk PythonSection, DockerSection, dan variabel lingkungan. Opsi lingkungan apa pun yang tidak secara langsung terpapar melalui parameter lain ke konstruksi Penghitung dapat diatur menggunakan parameter ini. Jika parameter ini ditentukan, itu akan digunakan sebagai dasar di mana paket yang ditentukan dalam pip_packages dan conda_packages akan ditambahkan.

entry_script

str

Diperlukan

Jalur relatif ke file yang berisi skrip pelatihan.

script_params

dict

Diperlukan

Kamus argumen baris perintah untuk diteruskan ke skrip pelatihan yang ditentukan dalam entry_script.

compute_target

AbstractComputeTarget atau str

Diperlukan

Target komputasi tempat skrip kepala akan dijalankan. Ini bisa berupa objek atau nama target komputasi. AmlWindowsCompute hanya mendukung Azure Files sebagai penyimpanan terpasang dan tidak mendukung definisi lingkungan.

use_gpu

bool

Diperlukan

Menentukan apakah lingkungan harus mendukung GPU. Jika true, gambar Docker default berbasis GPU akan digunakan di lingkungan. Jika salah, gambar berbasis CPU akan digunakan. Gambar docker default (CPU atau GPU) hanya akan digunakan jika parameter environment tidak diatur.

conda_packages

list

Diperlukan

Daftar string yang menunjukkan paket conda yang akan ditambahkan ke lingkungan Python kepala untuk eksperimen.

pip_packages

list

Diperlukan

Daftar string yang menunjukkan paket pip yang akan ditambahkan ke lingkungan Python kepala untuk eksperimen.

rl_framework

RLFramework

Diperlukan

Kerangka kerja orkestrasi yang akan digunakan dalam percobaan. Defaultnya adalah Ray versi 0.8.0

cluster_coordination_timeout_seconds

int

Diperlukan

Waktu maksimum dalam hitungan detik yang dapat dihabiskan pekerjaan untuk memulai setelah pekerjaan melewati status dalam antrean.

max_run_duration_seconds

int

Diperlukan

Waktu maksimum yang diizinkan untuk eksekusi dalam hitungan detik. Azure Machine Learning akan mencoba untuk membatalkan pekerjaan secara otomatis jika membutuhkan waktu yang lebih lama dari nilai ini.

worker_configuration

WorkerConfiguration

Diperlukan

Konfigurasi untuk pekerja.

pip_requirements_file

str

Diperlukan

Jalur relatif ke file teks persyaratan pip kepala. Ini dapat diberikan bersama dengan parameter pip_packages.

conda_dependencies_file

str

Diperlukan

Jalur relatif ke file yaml dependensi conda kepala.

environment_variables

dict

Diperlukan

Kamus nama dan nilai variabel lingkungan. Variabel lingkungan ini diatur pada proses kepala, tempat entry_script dieksekusi.

shm_size

str

Diperlukan

Ukuran blok memori bersama kontainer Docker. Jika tidak diatur, default azureml.core.environment._DEFAULT_SHM_SIZE akan digunakan. Untuk informasi selengkapnya, lihat Referensi eksekusi Docker.

inputs

list

Diperlukan

Daftar objek DataReference atau DatasetConsumptionConfig yang akan digunakan sebagai input.

Keterangan

Saat mengirimkan pekerjaan pelatihan, Azure Machine Learning menjalankan skrip Anda di lingkungan conda dalam kontainer Docker. Kontainer Pembelajaran Penguatan memiliki dependensi berikut yang dipasang.

Dependensi | Ray 0.8.0 | Ray 0.8.3 | ————————————–| —————– | —————– | Python | 3.6.2 | 3.6.2 | CUDA (khusus gambar GPU) | 10.0 | 10.0 | cuDNN (khusus gambar GPU) | 7.5 | 7.5 | NCCL (khusus gambar GPU) | 2.4.2 | 2.4.2 | azureml-defaults | Terbaru | Terbaru | azureml-contrib-reinforcementlearning | Terbaru | Terbaru | ray[rllib,dashboard] | 0.8.0 | 0.8.3 | tensorflow | 1.14.0 | 1.14.0 | psutil | Terbaru | Terbaru | setproctitle | Terbaru | Terbaru | gym[atari] | Terbaru | Terbaru |

Gambar Docker memperluas Ubuntu 16.04.

Untuk memasang dependensi tambahan di kontainer docker kepala, Anda dapat menggunakan pip_packages atau conda_packages. Atau, Anda dapat membangun gambar Anda sendiri, dan meneruskannya dalam parameter lingkungan sebagai bagian dari objek Lingkungan.

Penghitung Pembelajaran Penguatan mendukung pelatihan terdistribusi di seluruh kluster CPU dan GPU menggunakan Ray, kerangka kerja sumber terbuka untuk menangani pelatihan terdistribusi.

Atribut

DEFAULT_FRAMEWORK

DEFAULT_FRAMEWORK = ray-0.8.0