steps Paket

Berisi langkah-langkah bawaan yang dapat dijalankan dalam Alur Azure Machine Learning.

Langkah-langkah Alur AML dapat dikonfigurasi bersama untuk membangun Alur, yang menunjukkan alur kerja Azure Machine Learning yang dapat dibagikan dan digunakan kembali. Setiap langkah alur dapat dikonfigurasi untuk memungkinkan penggunaan kembali hasil eksekusi sebelumnya jika konten langkah (skrip dan dependensi) serta input dan parameter tetap tidak berubah.

Kelas dalam paket ini biasanya digunakan bersama dengan kelas dalam paket core. Paket inti berisi kelas untuk mengonfigurasi data (PipelineData), penjadwalan (Schedule), dan mengelola output langkah (StepRun).

Langkah-langkah bawaan dalam paket ini mencakup banyak skenario umum yang ditemui dalam alur kerja pembelajaran mesin. Untuk memulai langkah-langkah alur bawaan, lihat:

Modul

adla_step

Berisi fungsionalitas untuk membuat langkah Alur Azure Machine Learning untuk menjalankan skrip U-SQL dengan Azure Data Lake Analytics.

automl_step

Berisi fungsionalitas untuk menambahkan dan mengelola langkah alur ML otomatis di Azure Machine Learning.

azurebatch_step

Berisi fungsionalitas untuk membuat langkah Alur Azure Machine Learning yang menjalankan Windows yang dapat dieksekusi di Azure Batch.

command_step

Berisi fungsionalitas untuk membuat langkah Alur Azure ML yang menjalankan perintah.

data_transfer_step

Berisi fungsionalitas untuk membuat langkah Alur Azure Machine Learning yang mentransfer data di antara opsi penyimpanan.

databricks_step

Berisi fungsionalitas untuk membuat langkah alur Azure Machine Learning untuk menjalankan buku catatan Databricks atau skrip Python di DBFS.

estimator_step

Berisi fungsionalitas untuk membuat langkah alur yang menjalankan Estimator untuk pelatihan model Azure Machine Learning.

hyper_drive_step

Berisi fungsionalitas untuk membuat dan mengelola langkah-langkah Alur Azure Machine Learning yang menjalankan penyetelan hiperparameter.

kusto_step

Berisi fungsionalitas untuk membuat langkah alur Azure Machine Learning untuk menjalankan buku catatan Kusto.

module_step

Berisi fungsionalitas untuk menambahkan langkah Alur Azure Machine Learning menggunakan versi Modul yang sudah ada.

mpi_step

Berisi fungsionalitas untuk menambahkan langkah Alur Azure Machine Learning guna menjalankan tugas MPI untuk pelatihan model Pembelajaran Mesin.

parallel_run_config

Berisi fungsionalitas untuk mengonfigurasi ParallelRunStep.

parallel_run_step

Berisi fungsionalitas untuk menambahkan langkah untuk menjalankan skrip pengguna dalam mode paralel pada beberapa target AmlCompute.

python_script_step

Berisi fungsionalitas untuk membuat langkah Alur Azure Machine Learning yang menjalankan skrip Python.

r_script_step

Berisi fungsionalitas untuk membuat langkah Alur Azure Machine Learning yang menjalankan skrip R.

synapse_spark_step

Berisi fungsionalitas untuk membuat langkah Azure ML Synapse yang menjalankan skrip Python.

Kelas

AdlaStep

Membuat langkah Alur Azure Machine Learning untuk menjalankan skrip U-SQL dengan Azure Data Lake Analytics.

Sebagai contoh penggunaan AdlaStep ini, lihat https://aka.ms/pl-adla notebook.

Buat langkah Alur Azure ML untuk menjalankan skrip U-SQL dengan Azure Data Lake Analytics.

AutoMLStep

Membuat langkah Alur Azure ML yang merangkum Azure Machine Learning otomatis.

Untuk contoh menggunakan AutoMLStep, lihat notebookhttps://aka.ms/pl-automl.

Menginisialisasi AutoMLStep.

AutoMLStepRun

Memberikan informasi tentang proses eksperimen Pembelajaran Mesin otomatis dan metode untuk mengambil output default.

Kelas AutoMLStepRun digunakan untuk mengelola, memeriksa status, dan mengambil detail proses setelah eksekusi ML otomatis dikirimkan dalam pipeline. Selain itu, kelas ini dapat digunakan untuk mendapatkan output default dari AutoMLStep melalui kelas StepRun.

Menginisialisasi eksekusi langkah automl.

AzureBatchStep

Membuat langkah Alur Azure Machine Learning untuk mengirimkan pekerjaan ke Azure Batch.

Catatan: Langkah ini tidak mendukung pengunggahan/pengunduhan direktori dan kontennya.

Untuk contoh menggunakan AzureBatchStep, lihat buku catatan https://aka.ms/pl-azbatch.

Buat langkah Alur Azure ML untuk mengirimkan pekerjaan ke Azure Batch.

CommandStep

Membuat langkah Alur Azure ML yang menjalankan perintah.

Buat langkah Alur Azure Machine Learning yang menjalankan perintah.

DataTransferStep

Buat langkah Alur Azure Machine Learning yang mentransfer data di antara opsi penyimpanan.

DataTransferStep mendukung jenis penyimpanan umum seperti Azure Blob Storage dan Azure Data Lake sebagai sumber dan sink. Untuk informasi selengkapnya, lihat bagian Keterangan.

Untuk contoh menggunakan DataTransferStep, lihat notebook https://aka.ms/pl-data-trans.

Buat langkah Alur Azure ML yang mentransfer data antar opsi penyimpanan.

DatabricksStep

Membuat langkah Alur Azure Machine Learning untuk menambahkan buku catatan DataBricks, skrip Python, atau JAR sebagai node.

Untuk contoh penggunaan DatabricksStep, lihat notebook https://aka.ms/pl-databricks.

Buat langkah Alur Azure ML untuk menambahkan buku catatan DataBricks, skrip Python, atau JAR sebagai simpul.

Untuk contoh penggunaan DatabricksStep, lihat notebook https://aka.ms/pl-databricks.

:p aram python_script_name:[Required] Nama skrip Python relatif terhadap source_directory. Jika skrip mengambil input dan output, input dan output tersebut akan diteruskan ke skrip sebagai parameter. Jika python_script_name ditentukan, maka source_directory juga harus ditentukan.

Tentukan salah satu dari notebook_path, python_script_path, python_script_name, atau main_class_name.

Jika Anda menentukan objek DataReference sebagai input dengan data_reference_name=input1 dan objek PipelineData sebagai output dengan name=output1, maka input dan output akan diteruskan ke skrip sebagai parameter. Tampilannya akan terlihat seperti ini dan Anda akan perlu mengurai argumen dalam skrip Anda untuk mengakses jalur setiap input dan output: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Selain itu, parameter berikut akan tersedia dalam skrip:

  • AZUREML_RUN_TOKEN: Token AML untuk mengautentikasi dengan Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: Waktu kedaluwarsa token AML.
  • AZUREML_RUN_ID: ID Eksekusi Azure Machine Learning untuk eksekusi ini.
  • AZUREML_ARM_SUBSCRIPTION: Langganan Azure untuk ruang kerja AML Anda.
  • AZUREML_ARM_RESOURCEGROUP: Grup sumber daya Azure untuk ruang kerja Azure Machine Learning Anda.
  • AZUREML_ARM_WORKSPACE_NAME: Nama ruang kerja Azure Machine Learning Anda.
  • AZUREML_ARM_PROJECT_NAME: Nama eksperimen Azure Machine Learning Anda.
  • AZUREML_SERVICE_ENDPOINT: URL titik akhir untuk layanan AML.
  • AZUREML_WORKSPACE_ID: ID ruang kerja Azure Machine Learning Anda.
  • AZUREML_EXPERIMENT_ID: ID eksperimen Azure Machine Learning Anda.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Jalur direktori di DBFS tempat source_directory disalin.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Saat Anda menjalankan skrip Python dari komputer lokal Anda di Databricks menggunakan parameter source_directory dan python_script_name DatabricksStep, source_directory Anda disalin ke DBFS dan jalur direktori pada DBFS diteruskan sebagai parameter ke skrip Anda saat memulai eksekusi. Parameter ini diberi label sebagai –AZUREML_SCRIPT_DIRECTORY_NAME. Anda perlu mengawalinya dengan string "dbfs:/" atau "/dbfs/" untuk mengakses direktori di DBFS.

EstimatorStep

TIDAK DIGUNAKAN LAGI. Membuat langkah alur untuk menjalankan Estimator untuk pelatihan model Azure ML.

Buat langkah Alur Azure ML untuk menjalankan Estimator untuk pelatihan model Pembelajaran Mesin.

TIDAK DIGUNAKAN LAGI. Gunakan CommandStep sebagai gantinya. Misalnya lihat Cara menjalankan pelatihan ML dalam alur dengan CommandStep.

HyperDriveStep

Membuat langkah Alur Azure Machine Learning untuk menjalankan penyetelan hiperparameter untuk pelatihan model Pembelajaran Mesin.

Sebagai contoh menggunakan HyperDriveStep, lihat notebook https://aka.ms/pl-hyperdrive.

Buat langkah Azure ML Pipeline untuk menjalankan penyetelan hyperparameter untuk pelatihan model Azure Machine Learning.

HyperDriveStepRun

Mengelola, memeriksa status, dan mengambil detail eksekusi untuk langkah alur HyperDriveStep.

HyperDriveStepRun menyediakan fungsi HyperDriveRun dengan dukungan tambahan dari StepRun. Kelas HyperDriveStepRun memungkinkan Anda mengelola, memeriksa status, dan mengambil detail eksekusi untuk menjalankan HyperDrive serta eksekusi turunan yang dihasilkannya. Kelas StepRun memungkinkan Anda melakukan ini setelah eksekusi alur induk dikirimkan dan alur tersebut telah mengirimkan eksekusi langkah.

Menginisialisasi HyperDriveStepRun.

HyperDriveStepRun menyediakan fungsi HyperDriveRun dengan dukungan tambahan dari StepRun. Kelas HyperDriveRun memungkinkan Anda mengelola, memeriksa status, dan mengambil detail eksekusi untuk eksekusi HyperDrive dan setiap eksekusi anak yang dihasilkan. Kelas StepRun memungkinkan Anda melakukan ini setelah eksekusi alur induk dikirimkan dan alur tersebut telah mengirimkan eksekusi langkah.

KustoStep

KustoStep memungkinkan fungsionalitas menjalankan kueri Kusto pada kluster Kusto target dalam alur Azure Machine Learning.

Menginisialisasi KustoStep.

ModuleStep

Membuat langkah alur Azure Machine Learning untuk menjalankan versi Modul tertentu.

objek Module menentukan komputasi yang dapat digunakan kembali, seperti skrip atau executable, yang dapat digunakan dalam skenario pembelajaran mesin yang berbeda dan oleh pengguna yang berbeda. Untuk menggunakan versi Modul tertentu dalam alur, buat ModuleStep. ModuleStep adalah langkah dalam alur yang menggunakan ModuleVersion yang sudah ada.

Untuk contoh penggunaan ModuleStep, lihat notebook https://aka.ms/pl-modulestep.

Buat langkah alur Azure ML untuk menjalankan versi Modul tertentu.

MpiStep

Membuat langkah alur Azure Machine Learning untuk menjalankan pekerjaan MPI.

Untuk contoh penggunakan MpiStep, lihat notebook https://aka.ms/pl-style-trans.

Buat langkah alur Azure ML untuk menjalankan pekerjaan MPI.

TIDAK DIGUNAKAN LAGI. Gunakan CommandStep sebagai gantinya. Misalnya lihat Cara menjalankan pelatihan terdistribusi dalam alur dengan CommandStep.

ParallelRunConfig

Menentukan konfigurasi untuk objek ParallelRunStep.

Untuk contoh penggunaan ParallelRunStep, lihat buku catatan https://aka.ms/batch-inference-notebooks.

Untuk panduan pemecahan masalah, lihat https://aka.ms/prstsg. Anda dapat menemukan lebih banyak referensi di sana.

Menginisialisasi objek konfigurasi.

ParallelRunStep

Membuat langkah Alur Azure Machine Learning untuk memproses data dalam jumlah besar secara asinkron dan paralel.

Untuk contoh penggunaan ParallelRunStep, lihat buku catatan https://aka.ms/batch-inference-notebooks.

Untuk panduan pemecahan masalah, lihat https://aka.ms/prstsg. Anda dapat menemukan lebih banyak referensi di sana.

Buat langkah Alur Azure ML untuk memproses data dalam jumlah besar secara asinkron dan paralel.

Untuk contoh penggunaan ParallelRunStep, lihat tautan https://aka.ms/batch-inference-notebooksbuku catatan .

PythonScriptStep

Membuat langkah Alur Azure Machine Learning yang menjalankan skrip Python.

Untuk contoh menggunakan PythonScriptStep, lihat notebook https://aka.ms/pl-get-started.

Buat langkah Alur Azure ML yang menjalankan skrip Python.

RScriptStep

Catatan

Ini adalah kelas eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.

Buat langkah Alur Azure Machine Learning yang menjalankan skrip R.

Buat langkah Alur Azure ML yang menjalankan skrip R.

TIDAK DIGUNAKAN LAGI. Gunakan CommandStep sebagai gantinya. Sebagai contoh, lihat Cara menjalankan skrip R pada alur menggunakan CommandStep.

SynapseSparkStep

Catatan

Ini adalah kelas eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.

Membuat langkah Azure ML Synapse yang mengirimkan dan menjalankan skrip Python.

Buat langkah Alur Azure ML yang menjalankan pekerjaan spark pada kumpulan spark synapse.