Pipeline Kelas

Referensi

Mewakili kumpulan langkah-langkah yang bisa dijalankan sebagai alur kerja Azure Machine Learning yang bisa digunakan kembali.

Gunakan Alur untuk membuat dan mengelola alur kerja yang merangkai berbagai fase pembelajaran mesin. Setiap fase pembelajaran mesin, seperti penyiapan data dan pelatihan model, dapat terdiri dari satu atau lebih langkah dalam Alur.

Untuk gambaran umum tentang mengapa dan kapan harus menggunakan Alur, lihat https://aka.ms/pl-concept.

Untuk gambaran umum tentang membangun Alur, lihat https://aka.ms/pl-first-pipeline.

Menginisialisasi Alur.

Warisan: builtins.object

Pipeline

Konstruktor

Pipeline(workspace, steps, description=None, default_datastore=None, default_source_directory=None, resolve_closure=True, _workflow_provider=None, _service_endpoint=None, **kwargs)

Parameter

Nama	Deskripsi
workspace Diperlukan	Workspace Ruang kerja untuk mengirimkan Alur.
steps Diperlukan	list Daftar langkah-langkah yang harus dijalankan sebagai bagian dari Alur.
description Diperlukan	str Deskripsi Alur.
default_datastore Diperlukan	AbstractAzureStorageDatastore atau AzureDataLakeDatastore Penyimpanan data default untuk digunakan pada koneksi data.
default_source_directory Diperlukan	str Direktori skrip default untuk langkah-langkah yang menjalankan skrip.
resolve_closure Diperlukan	bool Apakah akan menyelesaikan penutupan atau tidak (secara otomatis membawa langkah-langkah yang tergantung).
workspace Diperlukan	Workspace Ruang kerja untuk mengirimkan Alur.
steps Diperlukan	list Daftar langkah-langkah yang harus dijalankan sebagai bagian dari Alur.
description Diperlukan	str Deskripsi Alur.
default_datastore Diperlukan	AbstractAzureStorageDatastore atau AzureDataLakeDatastore Penyimpanan data default untuk digunakan pada koneksi data.
default_source_directory Diperlukan	str Direktori skrip default untuk langkah-langkah yang menjalankan skrip.
resolve_closure Diperlukan	bool Apakah menyelesaikan penutupan atau tidak (secara otomatis membawa langkah-langkah dependen).
_workflow_provider Diperlukan	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> Penyedia alur kerja, jika Tidak ada yang dibuat.
_service_endpoint Diperlukan	str Titik akhir layanan, jika Tidak Ada yang ditentukan menggunakan ruang kerja.
kwargs Diperlukan	dict Argumen kata kunci kustom, dicadangkan untuk pengembangan di masa mendatang

Keterangan

Alur dibuat dengan daftar langkah serta ruang kerja. Ada sejumlah jenis langkah yang bisa digunakan dalam alur. Anda akan memilih jenis langkah berdasarkan skenario pembelajaran mesin Anda.

Azure Machine Learning Pipelines menyediakan langkah bawaan untuk skenario umum. Langkah-langkah pra-dibangun yang berasal dari PipelineStep adalah langkah-langkah yang dipakai dalam satu alur. Misalnya, lihat paket steps dan kelas AutoMLStep.
Jika alur kerja pembelajaran mesin Anda memerlukan pembuatan langkah-langkah untuk yang dapat dibuat versinya dan digunakan di berbagai alur, gunakan fungsionalitas di modul Module.

Kirim alur menggunakan submit. Saat pengiriman dipanggil, PipelineRun dibuat yang pada gilirannya membuat objek StepRun untuk setiap langkah dalam alur kerja. Gunakan objek ini untuk memantau pelaksanaan eksekusi.

Contoh mengirimkan Alur adalah sebagai berikut:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline)

Ada sejumlah pengaturan opsional untuk Alur yang bisa ditentukan pada pengiriman di submit.

continue_on_step_failure: Apakah akan melanjutkan eksekusi alur apabila langkah gagal; defaultnya adalah False. Jika True, hanya langkah-langkah yang tidak memiliki dependensi pada output dari langkah yang gagal saja yang akan melanjutkan eksekusi.
Menunjukkan apakah akan memaksa regenerasi semua output langkah serta melarang penggunaan kembali data untuk eksekusi ini, defaultnya False.
pipeline_parameters: Parameter untuk eksekusi alur, kamus {name: value}. Lihat PipelineParameter untuk detail selengkapnya.
parent_run_id: Anda bisa menyediakan ID eksekusi untuk mengatur eksekusi induk dari eksekusi alur ini, yang tercermin dalam RunHistory. Eksekusi induk harus termasuk dalam eksperimen yang sama dengan alur pengiriman ini.

Contoh mengirimkan Alur menggunakan pengaturan ini adalah sebagai berikut:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline,
                                    continue_on_step_failure=True,
                                    regenerate_outputs=True,
                                    pipeline_parameters={"param1": "value1"},
                                    parent_run_id="<run_id>")

Metode

load_yaml	Muat Alur dari file YAML yang ditentukan. File YAML bisa digunakan untuk menggambarkan Alur yang terdiri dari ModuleSteps.
publish	Terbitkan alur dan buat menjadi tersedia untuk dijalankan kembali. Setelah Alur diterbitkan, alur tersebut dapat dikirimkan tanpa kode Python yang membangun Alur. Mengembalikan PublishedPipeline yang dibuat.
service_endpoint	Dapatkan titik akhir layanan yang berkaitan dengan alur.
submit	Mengirim eksekusi alur. Tindakan ini sama seperti menggunakan submit. Mengembalikan PipelineRun yang diserahkan. Gunakan objek ini untuk memantau dan melihat detail eksekusi.
validate	Validasi alur serta identifikasi potensi kesalahan, seperti input yang tidak terhubung.

load_yaml

Muat Alur dari file YAML yang ditentukan.

File YAML bisa digunakan untuk menggambarkan Alur yang terdiri dari ModuleSteps.

static load_yaml(workspace, filename, _workflow_provider=None, _service_endpoint=None)

Parameter

Nama	Deskripsi
workspace Diperlukan	Workspace Ruang kerja untuk mengirimkan Alur.
filename Diperlukan	str File YAML yang menjelaskan Alur.
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> Penyedia alur kerja. nilai default: None
_service_endpoint	str Titik akhir layanan, jika Tidak Ada, ditentukan menggunakan ruang kerja. nilai default: None

Mengembalikan

Jenis	Deskripsi
Pipeline	Alur yang dibangun.

Keterangan

Lihat di bawah untuk contoh file YAML. YAML berisi nama, default_compute dan daftar parameter, referensi data, dan langkah-langkah untuk Alur. Setiap langkah harus menentukan modul, komputasi dan parameter, input, serta pengikatan output. Selain itu, runconfig langkah dan argumen dapat ditentukan jika perlu.

File Yaml sampel:


   pipeline:
       description: SamplePipelineFromYaml
       parameters:
           NumIterationsParameter:
               type: int
               default: 40
           DataPathParameter:
               type: datapath
               default:
                   datastore: workspaceblobstore
                   path_on_datastore: sample2.txt
           NodeCountParameter:
               type: int
               default: 4
       data_references:
           DataReference:
               datastore: workspaceblobstore
               path_on_datastore: testfolder/sample.txt
           Dataset:
               dataset_name: 'titanic'
       default_compute: aml-compute
       steps:
           PrepareStep:
               type:  ModuleStep
               name: "TestModule"
               compute: aml-compute2
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input1'
               -input:in1
               -'--input2'
               -input:in2
               -'--input3'
               -input:in3
               -'--output'
               -output:output_data
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS:
                       source: NumIterationsParameter
               inputs:
                   in1:
                       source: Dataset
                       bind_mode: mount
                   in2:
                       source: DataReference
                   in3:
                       source: DataPathParameter
               outputs:
                   output_data:
                       destination: Output1
                       datastore: workspaceblobstore
                       bind_mode: mount
           TrainStep:
               type: ModuleStep
               name: "TestModule2"
               version: "2"
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input'
               -input:train_input
               -'--output'
               -output:result
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS: 10
               runconfig_parameters:
                   NodeCount:
                       source: NodeCountParameter
               inputs:
                   train_input:
                       source: Output1
                       bind_mode: mount
               outputs:
                   result:
                       destination: Output2
                       datastore: workspaceblobstore
                       bind_mode: mount

publish

Terbitkan alur dan buat menjadi tersedia untuk dijalankan kembali.

Setelah Alur diterbitkan, alur tersebut dapat dikirimkan tanpa kode Python yang membangun Alur. Mengembalikan PublishedPipeline yang dibuat.

publish(name=None, description=None, version=None, continue_on_step_failure=None)

Parameter

Nama	Deskripsi
name	str Nama alur yang diterbitkan. nilai default: None
description	str Deskripsi alur yang diterbitkan. nilai default: None
version	str Versi alur yang diterbitkan. nilai default: None
continue_on_step_failure	bool Menunjukkan apakah akan melanjutkan eksekusi langkah lain di PipelineRun jika langkah gagal, defaultnya salah. Jika True, hanya langkah-langkah yang tidak memiliki dependensi pada output dari langkah yang gagal saja yang akan melanjutkan eksekusi. nilai default: None

Mengembalikan

Jenis	Deskripsi
PublishedPipeline	Membuat alur yang diterbitkan.

service_endpoint

Dapatkan titik akhir layanan yang berkaitan dengan alur.

service_endpoint()

Mengembalikan

Jenis	Deskripsi
str	Titik akhir layanan.

submit

Mengirim eksekusi alur. Tindakan ini sama seperti menggunakan submit.

Mengembalikan PipelineRun yang diserahkan. Gunakan objek ini untuk memantau dan melihat detail eksekusi.

submit(experiment_name, pipeline_parameters=None, continue_on_step_failure=False, regenerate_outputs=False, parent_run_id=None, credential_passthrough=None, **kwargs)

Parameter

Nama	Deskripsi
experiment_name Diperlukan	str Nama eksperimen untuk mengirimkan alur.
pipeline_parameters	dict Parameter untuk eksekusi alur, kamus {name: value}. Lihat PipelineParameter untuk detail selengkapnya. nilai default: None
continue_on_step_failure	bool Menunjukkan apakah akan melanjutkan eksekusi alur apabila langkah gagal. Jika True, hanya langkah-langkah yang tidak memiliki dependensi pada output dari langkah yang gagal saja yang akan melanjutkan eksekusi. nilai default: False
regenerate_outputs	bool Menunjukkan apakah akan memaksa regenerasi semua output langkah serta melarang penggunaan kembali data untuk menjalankan ini. Jika False, eksekusi ini dapat menggunakan kembali hasil dari eksekusi sebelumnya dan eksekusi berikutnya dapat menggunakan kembali hasil lari ini. nilai default: False
parent_run_id	str ID eksekusi opsional untuk diatur agar eksekusi induk dari eksekusi alur ini, yang tercermin dalam RunHistory. Eksekusi induk harus termasuk dalam eksperimen yang sama dengan alur ini yang sedang dikirimkan. nilai default: None
credential_passthrough	Opsional, jika bendera ini diaktifkan, pekerjaan alur jarak jauh akan menggunakan informasi masuk pengguna yang memulai pekerjaan. Fitur ini hanya tersedia dalam pratinjau pribadi. nilai default: None

Mengembalikan

Jenis	Deskripsi
PipelineRun	Alur yang dikirimkan berjalan.

validate

Validasi alur serta identifikasi potensi kesalahan, seperti input yang tidak terhubung.

validate()

Mengembalikan

Jenis	Deskripsi
list	Daftar kesalahan-kesalahan dalam alur.

Keterangan

Contoh kesalahan validasi termasuk:

sumber data alur yang hilang atau tidak terduga atau jenis langkah
parameter atau definisi output yang hilang untuk sumber data atau langkah alur
input yang tidak terhubung
langkah-langkah alur yang membentuk loop atau siklus

Jika validasi lolos (mengembalikan daftar kosong) serta alur Anda tidak berfungsi, lihat Debug dan memecahkan masalah alur pembelajaran mesin.

Atribut

graph

Dapatkan grafik yang berkaitan dengan alur. Langkah serta input data muncul sebagai node dalam grafik.

Mengembalikan

Jenis	Deskripsi
Graph	Grafiknya.

Bagikan melalui

Pipeline Kelas

Konstruktor

Parameter

Keterangan

Metode

load_yaml

Parameter

Mengembalikan

Keterangan

publish

Parameter

Mengembalikan

service_endpoint

Mengembalikan

submit

Parameter

Mengembalikan

validate

Mengembalikan

Keterangan

Atribut

graph

Mengembalikan

Saran dan Komentar

Saran dan Komentar

Sumber Daya Tambahan: