Skema YAML perintah pekerjaan CLI (v2)

Artikel
04/04/2023

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)

Skema JSON sumber dapat ditemukan di https://azuremlschemas.azureedge.net/latest/commandJob.schema.json.

Catatan

Sintaks YAML yang dirinci dalam dokumen ini didasarkan pada skema JSON untuk versi terbaru ekstensi CLI v2 ML. Sintaks ini dijamin hanya berfungsi dengan versi terbaru ekstensi CLI v2 ML. Anda dapat menemukan skema untuk versi ekstensi yang lebih lama di https://azuremlschemasprod.azureedge.net/.

Sintaks YAML

Kunci	Jenis	Deskripsi	Nilai yang diizinkan	Nilai default
`$schema`	string	Skema YAML. Jika Anda menggunakan ekstensi Visual Studio Code Azure Machine Learning untuk menulis file YAML, termasuk `$schema` di bagian atas file, Anda akan dapat meminta skema dan penyelesaian sumber daya.
`type`	const	Jenis pekerjaan.	`command`	`command`
`name`	string	Nama pekerjaan. Harus unik di semua pekerjaan di ruang kerja. Jika dihilangkan, Azure Machine Learning akan membuat GUID secara otomatis untuk namanya.
`display_name`	string	Nama tampilan pekerjaan di antarmuka pengguna studio. Dapat berupa tidak unik di dalam ruang kerja. Jika dihilangkan, Azure Machine Learning akan secara otomatis menghasilkan pengidentifikasi kata sifat yang dapat dibaca manusia untuk nama tampilan.
`experiment_name`	string	Nama eksperimen untuk mengatur pekerjaan di bawah. Setiap rekaman eksekusi pekerjaan akan diatur di bawah eksperimen yang sesuai di tab "Eksperimen" studio. Jika dihilangkan, Azure Machine Learning akan default ke nama direktori kerja tempat pekerjaan dibuat.
`description`	string	Deskripsi pekerjaan.
`tags`	objek	Kamus tag untuk pekerjaan.
`command`	string	Diperlukan (jika tidak menggunakan bidang `component`). Perintah untuk menjalankan.
`code`	string	Jalur lokal ke direktori kode sumber untuk diunggah dan digunakan untuk pekerjaan itu.
`environment`	string atau objek	Diperlukan (jika tidak menggunakan bidang `component`). Lingkungan yang digunakan untuk pekerjaan. Ini bisa menjadi referensi ke lingkungan versi yang ada di ruang kerja atau spesifikasi lingkungan sebaris. Untuk mereferensikan lingkungan yang ada, gunakan sintaks `azureml:<environment_name>:<environment_version>` atau `azureml:<environment_name>@latest` (untuk mereferensikan versi terbaru lingkungan). Untuk menentukan lingkungan sebaris, silakan ikuti Skema lingkungan. Kecualikan properti `name` dan `version` karena tidak didukung untuk lingkungan sebaris.
`environment_variables`	objek	Kamus pasangan kunci-nilai variabel lingkungan untuk mengatur proses tempat perintah dijalankan.
`distribution`	objek	Konfigurasi distribusi untuk skenario pelatihan terdistribusi. Salah satu dari MpiConfiguration, PyTorchConfiguration, atau TensorFlowConfiguration.
`compute`	string	Nama target komputasi untuk menjalankan pekerjaan. Ini bisa berupa referensi ke komputasi yang ada di ruang kerja (menggunakan sintaks `azureml:<compute_name>`) atau `local` untuk menunjuk eksekusi lokal. Catatan: pekerjaan dalam alur tidak mendukung `local` sebagai `compute`		`local`
`resources.instance_count`	bilangan bulat	Jumlah node yang digunakan untuk pekerjaan.		`1`
`resources.instance_type`	string	Jenis instans yang digunakan untuk pekerjaan tersebut. Berlaku untuk pekerjaan yang berjalan pada komputasi Kubernetes yang mendukung Azure Arc (di mana target komputasi yang ditentukan di bidang `compute` adalah dari `type: kubernentes`). Jika dihilangkan, ini akan default ke jenis instans default untuk kluster Kubernetes. Untuk informasi selengkapnya, lihat Membuat dan memilih jenis instans Kubernetes.
`resources.shm_size`	string	Ukuran blok memori bersama kontainer docker. Ini harus dalam format `<number><unit>` di mana angka harus lebih besar dari 0 dan unit dapat menjadi salah satu dari `b` (byte), `k` (kilobyte), `m` (megabyte), atau `g` (gigabyte).		`2g`
`limits.timeout`	bilangan bulat	Waktu maksimum dalam detik yang pekerjaan izinkan untuk dijalankan. Setelah batas ini tercapai, sistem akan membatalkan pekerjaan.
`inputs`	objek	Kamus input ke pekerjaan. Kunci adalah nama untuk input dalam konteks pekerjaan dan nilai adalah nilai input. Input dapat direferensikan dalam `command` menggunakan ekspresi `${{ inputs.<input_name> }}`.
`inputs.<input_name>`	angka, bilangan bulat, boolean, string, atau objek	Salah satu nilai literal (dari nomor jenis, integer, boolean, atau string) atau objek yang berisi spesifikasi data input pekerjaan.
`outputs`	objek	Kamus konfigurasi output dari pekerjaan. Kunci adalah nama untuk output dalam konteks pekerjaan dan nilai adalah konfigurasi output. Output dapat direferensikan dalam `command` menggunakan ekspresi `${{ outputs.<output_name> }}`.
`outputs.<output_name>`	objek	Anda dapat membiarkan objek kosong, dalam hal ini secara default output akan berjenis `uri_folder` dan Azure Machine Learning akan menghasilkan lokasi output untuk output. File ke direktori output akan ditulis melalui pemasangan baca-tulis. Jika Anda ingin menentukan mode yang berbeda untuk output, berikan objek yang berisi spesifikasi output pekerjaan.
`identity`	objek	Identitas digunakan untuk mengakses data. Ini dapat berupa UserIdentityConfiguration, ManagedIdentityConfiguration atau None. Jika userIdentityConfiguration, identitas pengirim pekerjaan akan digunakan untuk mengakses data input dan menulis hasil ke folder output, jika tidak, identitas terkelola dari target komputasi akan digunakan.

Konfigurasi distribusi

MpiConfiguration

Kunci	Jenis	Deskripsi	Nilai yang diizinkan
`type`	const	Wajib diisi. Jenis distribusi.	`mpi`
`process_count_per_instance`	bilangan bulat	Wajib diisi. Jumlah proses per node yang diluncurkan untuk pekerjaan.

PyTorchConfiguration

Kunci	Jenis	Deskripsi	Nilai yang diizinkan	Nilai default
`type`	const	Wajib diisi. Jenis distribusi.	`pytorch`
`process_count_per_instance`	bilangan bulat	Jumlah proses per node yang diluncurkan untuk pekerjaan.		`1`

TensorFlowConfiguration

Kunci	Jenis	Deskripsi	Nilai yang diizinkan	Nilai default
`type`	const	Wajib diisi. Jenis distribusi.	`tensorflow`
`worker_count`	bilangan bulat	Jumlah pekerja yang akan diluncurkan untuk pekerjaan.		Default ke `resources.instance_count`.
`parameter_server_count`	bilangan bulat	Jumlah server paramater yang diluncurkan untuk pekerjaan.		`0`

Input pekerjaan

Kunci	Jenis	Deskripsi	Nilai yang diizinkan	Nilai default
`type`	string	Jenis input pekerjaan. Tentukan `uri_file` untuk data yang mengarah ke satu sumber file, atau `uri_folder` untuk data yang mengarah ke sumber folder.	`uri_file`, `uri_folder`, `mlflow_model`, `custom_model`	`uri_folder`
`path`	string	Jalur ke data yang akan digunakan sebagai input. Ini dapat ditentukan dengan beberapa cara: - Jalur lokal ke file atau folder sumber data, misalnya `path: ./iris.csv`. Data akan diunggah selama pengiriman pekerjaan. - URI jalur cloud ke file atau folder untuk digunakan sebagai input. Jenis URI yang didukung adalah `azureml`, `https`, `wasbs`, `abfss`, `adl`. Lihat Core yaml syntax untuk informasi selengkapnya tentang cara menggunakan format URI `azureml://`. - Aset data Azure Machine Learning terdaftar yang ada untuk digunakan sebagai input. Untuk mereferensikan aset data terdaftar, gunakan sintaks `azureml:<data_name>:<data_version>` atau `azureml:<data_name>@latest` (untuk mereferensikan versi terbaru dari aset data tersebut), misalnya `path: azureml:cifar10-data:1` atau `path: azureml:cifar10-data@latest`.
`mode`	string	Mode bagaimana data harus dikirimkan ke target komputasi. Untuk pemasangan baca-saja (`ro_mount`), data akan digunakan sebagai jalur pemasangan. Folder akan dipasang sebagai folder dan file akan dipasang sebagai file. Azure Machine Learning akan menyelesaikan input ke jalur pemasangan. Untuk mode `download`, data akan diunduh ke target komputasi. Azure Machine Learning akan menyelesaikan input ke jalur yang diunduh. Jika hanya ingin URL lokasi penyimpanan artefak data daripada memasang atau mengunduh data itu sendiri, Anda dapat menggunakan mode `direct`. Cara ini akan meneruskan URL lokasi penyimpanan sebagai input pekerjaan. Perhatikan bahwa dalam hal ini Anda bertanggung jawab penuh untuk menangani info masuk untuk mengakses penyimpanan. `eval_mount` Mode dan `eval_download` unik untuk MLTable, dan memasang data sebagai jalur atau mengunduh data ke target komputasi. Untuk informasi selengkapnya tentang mode, lihat Mengakses data dalam pekerjaan	`ro_mount`, `download`, `direct`, `eval_download`, `eval_mount`	`ro_mount`

Output pekerjaan

Kunci	Jenis	Deskripsi	Nilai yang diizinkan	Nilai default
`type`	string	Jenis output pekerjaan. Untuk jenis `uri_folder` default, output akan sesuai dengan folder.	`uri_folder` , `mlflow_model`, `custom_model`	`uri_folder`
`mode`	string	Mode bagaimana file output akan dikirim ke penyimpanan tujuan. Untuk mode pemasangan baca-tulis (`rw_mount`), direktori output akan menjadi direktori yang dipasang. Untuk mode unggah, file yang ditulis ke direktori output akan diunggah di akhir pekerjaan.	`rw_mount`, `upload`	`rw_mount`

Konfigurasi identitas

UserIdentityConfiguration

Kunci	Jenis	Deskripsi	Nilai yang diizinkan
`type`	const	Wajib diisi. Jenis identitas.	`user_identity`

ManagedIdentityConfiguration

Kunci	Jenis	Deskripsi	Nilai yang diizinkan
`type`	const	Wajib diisi. Jenis identitas.	`managed` atau `managed_identity`

Keterangan

Perintah az ml job dapat digunakan untuk mengelola pekerjaan Azure Machine Learning.

Contoh

Contoh tersedia di contoh repositori GitHub. Beberapa ditunjukkan di bawah ini.

YAML: halo dunia

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest

YAML: nama tampilan, nama eksperimen, deskripsi, dan tag

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |
  # Azure Machine Learning "hello world" job

  This is a "hello world" job running in the cloud via Azure Machine Learning!

  ## Description

  Markdown is supported in the studio for job descriptions! You can edit the description there or via CLI.

YAML: variabel lingkungan

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo $hello_env_var
environment:
  image: library/python:latest
environment_variables:
  hello_env_var: "hello world"

YAML: kode sumber

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: ls
code: src
environment:
  image: library/python:latest

YAML: input harfiah

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  echo ${{inputs.hello_string}}
  echo ${{inputs.hello_number}}
environment:
  image: library/python:latest
inputs:
  hello_string: "hello world"
  hello_number: 42

YAML: tulis ke output default

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world" > ./outputs/helloworld.txt
environment:
  image: library/python:latest

YAML: tulis ke output data bernama

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world" > ${{outputs.hello_output}}/helloworld.txt
outputs:
  hello_output:
environment:
  image: python

YAML: input file URI datastore

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  echo "--iris-csv: ${{inputs.iris_csv}}"
  python hello-iris.py --iris-csv ${{inputs.iris_csv}}
code: src
inputs:
  iris_csv:
    type: uri_file 
    path: azureml://datastores/workspaceblobstore/paths/example-data/iris.csv
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

YAML: input folder URI datastore

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  ls ${{inputs.data_dir}}
  echo "--iris-csv: ${{inputs.data_dir}}/iris.csv"
  python hello-iris.py --iris-csv ${{inputs.data_dir}}/iris.csv
code: src
inputs:
  data_dir:
    type: uri_folder 
    path: azureml://datastores/workspaceblobstore/paths/example-data/
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

YAML: input file URI

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  echo "--iris-csv: ${{inputs.iris_csv}}"
  python hello-iris.py --iris-csv ${{inputs.iris_csv}}
code: src
inputs:
  iris_csv:
    type: uri_file 
    path: https://azuremlexamples.blob.core.windows.net/datasets/iris.csv
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

YAML: input folder URI

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  ls ${{inputs.data_dir}}
  echo "--iris-csv: ${{inputs.data_dir}}/iris.csv"
  python hello-iris.py --iris-csv ${{inputs.data_dir}}/iris.csv
code: src
inputs:
  data_dir:
    type: uri_folder 
    path: wasbs://datasets@azuremlexamples.blob.core.windows.net/
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

YAML: Notebook melalui papermill

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  pip install ipykernel papermill
  papermill hello-notebook.ipynb outputs/out.ipynb -k python
code: src
environment:
  image: library/python:3.11.6

YAML: pelatihan model Python dasar

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python main.py 
  --iris-csv ${{inputs.iris_csv}}
  --C ${{inputs.C}}
  --kernel ${{inputs.kernel}}
  --coef0 ${{inputs.coef0}}
inputs:
  iris_csv: 
    type: uri_file
    path: wasbs://datasets@azuremlexamples.blob.core.windows.net/iris.csv
  C: 0.8
  kernel: "rbf"
  coef0: 0.1
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
compute: azureml:cpu-cluster
display_name: sklearn-iris-example
experiment_name: sklearn-iris-example
description: Train a scikit-learn SVM on the Iris dataset.

YAML: pelatihan model R dasar dengan konteks bangun Docker lokal

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: >
  Rscript train.R 
  --data_folder ${{inputs.iris}}
code: src
inputs:
  iris: 
    type: uri_file
    path: https://azuremlexamples.blob.core.windows.net/datasets/iris.csv
environment:
  build:
    path: docker-context
compute: azureml:cpu-cluster
display_name: r-iris-example
experiment_name: r-iris-example
description: Train an R model on the Iris dataset.

YAML: PyTorch terdistribusi

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python train.py 
  --epochs ${{inputs.epochs}}
  --learning-rate ${{inputs.learning_rate}}
  --data-dir ${{inputs.cifar}}
inputs:
  epochs: 1
  learning_rate: 0.2
  cifar: 
     type: uri_folder
     path: azureml:cifar-10-example@latest
environment: azureml:AzureML-pytorch-1.9-ubuntu18.04-py37-cuda11-gpu@latest
compute: azureml:gpu-cluster
distribution:
  type: pytorch 
  process_count_per_instance: 1
resources:
  instance_count: 2
display_name: pytorch-cifar-distributed-example
experiment_name: pytorch-cifar-distributed-example
description: Train a basic convolutional neural network (CNN) with PyTorch on the CIFAR-10 dataset, distributed via PyTorch.

YAML: TensorFlow terdistribusi

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python train.py 
  --epochs ${{inputs.epochs}}
  --model-dir ${{inputs.model_dir}}
inputs:
  epochs: 1
  model_dir: outputs/keras-model
environment: azureml:AzureML-tensorflow-2.4-ubuntu18.04-py37-cuda11-gpu@latest
compute: azureml:gpu-cluster
resources:
  instance_count: 2
distribution:
  type: tensorflow
  worker_count: 2
display_name: tensorflow-mnist-distributed-example
experiment_name: tensorflow-mnist-distributed-example
description: Train a basic neural network with TensorFlow on the MNIST dataset, distributed via TensorFlow.

YAML: MPI terdistribusi

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python train.py
  --epochs ${{inputs.epochs}}
inputs:
  epochs: 1
environment: azureml:AzureML-tensorflow-2.7-ubuntu20.04-py38-cuda11-gpu@latest
compute: azureml:gpu-cluster
resources:
  instance_count: 2
distribution:
  type: mpi
  process_count_per_instance: 1
display_name: tensorflow-mnist-distributed-horovod-example
experiment_name: tensorflow-mnist-distributed-horovod-example
description: Train a basic neural network with TensorFlow on the MNIST dataset, distributed via Horovod.

Langkah berikutnya

Menginstal dan menggunakan CLI (v2)