Melatih model dengan Azure Machine Learning

  • Artikel

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

Azure Machine Learning menyediakan beberapa cara untuk melatih model Anda, mulai dari solusi code-first menggunakan SDK hingga solusi kode rendah seperti pembelajaran mesin otomatis dan desainer visual. Gunakan daftar berikut untuk menentukan metode pelatihan mana yang tepat untuk Anda:

  • Azure Machine Learning SDK for Python: The Python SDK menyediakan beberapa cara untuk melatih model, masing-masing dengan kemampuan yang berbeda.

    Metode pelatihan Deskripsi
    command() Cara umum untuk melatih model adalah dengan mengirimkan perintah() yang mencakup skrip pelatihan, lingkungan, dan informasi komputasi.
    Pembelajaran mesin otomatis Pembelajaran mesin otomatis memungkinkan Anda untuk melatih model tanpa ilmu data atau pengetahuan pemrograman yang luas. Bagi orang yang memiliki ilmu data dan latar belakang pemrograman, ini menjadi cara untuk menghemat waktu dan sumber daya dengan mengotomatiskan pemilihan algoritma dan penyetelan hyperparameter. Anda tidak perlu repot menentukan konfigurasi pekerjaan saat menggunakan pembelajaran mesin otomatis.
    Alur pembelajaran mesin Alur bukanlah metode pelatihan yang berbeda, tetapi cara menentukan alur kerja menggunakan langkah-langkah modular yang dapat digunakan kembali yang dapat menyertakan pelatihan sebagai bagian dari alur kerja. Alur pembelajaran mesin mendukung penggunaan pembelajaran mesin otomatis dan konfigurasi jalankan untuk melatih model. Karena alur tidak berfokus secara khusus pada pelatihan, alasan untuk menggunakan alur lebih bervariasi daripada metode pelatihan lainnya. Umumnya, Anda dapat menggunakan alur ketika:
    * Anda ingin menjadwalkan proses tanpa pengawasan seperti pekerjaan pelatihan yang berjalan lama atau penyiapan data.
    * Gunakan beberapa langkah yang dikoordinasikan di seluruh sumber daya komputasi heterogen dan lokasi penyimpanan.
    * Gunakan alur sebagai templat yang dapat digunakan kembali untuk skenario tertentu, seperti pelatihan ulang atau penilaian batch.
    * Pelacakan dan versi sumber data, input, dan output untuk alur kerja Anda.
    * Alur kerja Anda diimplementasikan oleh tim yang berbeda yang bekerja dengan langkah-langkah tertentu secara independen. Langkah-langkah kemudian dapat digabungkan dalam alur untuk mengimplementasikan alur kerja.

  • Perancang: Perancang Azure Machine Learning menyediakan titik masuk yang mudah ke dalam pembelajaran mesin untuk membangun bukti konsep, atau untuk pengguna dengan sedikit pengalaman pengkodean. Ini memungkinkan Anda untuk melatih model menggunakan UI berbasis web drag and drop. Anda dapat menggunakan kode Python sebagai bagian dari desain, atau melatih model tanpa menulis kode apa pun.

  • Azure CLI: CLI pembelajaran mesin menyediakan perintah untuk tugas umum dengan Azure Machine Learning, dan sering digunakan untuk tugas pembuatan skrip dan otomatisasi. Misalnya, setelah membuat skrip atau alur pelatihan, Anda dapat menggunakan CLI untuk memulai pekerjaan pelatihan sesuai jadwal atau saat file data yang digunakan untuk pelatihan diperbarui. Untuk model pelatihan, CLI menyediakan perintah yang mengirimkan pekerjaan pelatihan. CLI dapat mengirimkan pekerjaan menggunakan konfigurasi atau alur jalankan.

Masing-masing metode pelatihan ini dapat menggunakan berbagai jenis sumber daya komputasi untuk pelatihan. Secara kolektif, sumber daya ini disebut sebagai target komputasi. Target komputasi adalah mesin lokal atau sumber daya cloud, seperti Azure Machine Learning Compute, Azure HDInsight, atau mesin virtual jarak jauh.

Python SDK

Azure Machine Learning SDK for Python memungkinkan Anda membangun dan menjalankan alur kerja pembelajaran mesin dengan Azure Machine Learning. Anda dapat berinteraksi dengan layanan dari sesi Python interaktif, Jupyter Notebooks, Visual Studio Code, atau IDE lainnya.

Kirim perintah

Pekerjaan pelatihan generik dengan Azure Pembelajaran Mesin dapat ditentukan menggunakan perintah(). Perintah kemudian digunakan, bersama dengan skrip pelatihan Anda untuk melatih model pada target komputasi yang ditentukan.

Anda dapat memulai dengan perintah untuk komputer lokal Anda, lalu beralih ke perintah untuk target komputasi berbasis cloud sesuai kebutuhan. Saat mengubah target komputasi, Anda hanya mengubah parameter komputasi dalam perintah yang Anda gunakan. Jalankan juga mencatat informasi tentang pekerjaan pelatihan, seperti input, output, dan log.

Pembelajaran Mesin Otomatis

Tentukan iterasi, pengaturan hyperparameter, featurisasi, dan pengaturan lainnya. Selama pelatihan, Azure Machine Learning mencoba algoritme dan parameter yang berbeda secara paralel. Pelatihan berhenti setelah mencapai kriteria keluar yang Anda tentukan.

Tip

Selain Python SDK, Anda juga dapat menggunakan ML Otomatis melalui studio Azure Machine Learning.

Alur pembelajaran mesin

Alur pembelajaran mesin dapat menggunakan metode pelatihan yang disebutkan sebelumnya. Alur berkaitan dengan pembuatan alur kerja, sehingga mencakup lebih dari sekadar pelatihan model.

Memahami apa yang terjadi ketika Anda mengirimkan pekerjaan pelatihan

Siklus hidup pelatihan Azure terdiri dari:

  1. Zip file di folder proyek Anda dan unggah ke cloud.

    Tip

    Untuk mencegah file yang tidak perlu disertakan dalam cuplikan, buat file abaikan (.gitignore atau .amlignore) di direktori. Tambahkan file dan direktori untuk dikecualikan ke file ini. Untuk informasi selengkapnya tentang sintaks yang digunakan di dalam file ini, lihat sintaks dan pola untuk .gitignore. File .amlignore menggunakan sintaks yang sama. Jika kedua file ada, file .amlignore digunakan dan file .gitignore tidak digunakan.

  2. Meningkatkan skala kluster komputasi Anda (atau komputasi tanpa server

  3. Membangun atau mengunduh dockerfile ke simpul komputasi

    1. Sistem menghitung hash dari:
    2. Sistem menggunakan hash ini sebagai kunci dalam pencarian ruang kerja Azure Container Registry (ACR)
    3. Apabila tidak ditemukan, sistem akan mencari kecocokan di ACR global
    4. Jika tidak ditemukan, sistem membangun gambar baru (yang akan di-cache dan terdaftar di ACR ruang kerja)

  4. Mengunduh file proyek zip Anda ke penyimpanan sementara pada node komputasi

  5. Mengekstrak file proyek

  6. Node komputasi yang mengeksekusi python <entry script> <arguments>

  7. Menyimpan log, file model, dan file lain yang ditulis ke ./outputs akun penyimpanan yang terkait dengan ruang kerja

  8. Menghitung mundur komputasi, termasuk menghapus penyimpanan sementara

Desainer Azure Machine Learning

Perancang memungkinkan Anda melatih model menggunakan antarmuka drag and drop di browser web Anda.

Azure CLI

CLI pembelajaran mesin adalah ekstensi untuk Azure CLI. Ini menyediakan perintah CLI lintas platform untuk bekerja dengan Azure Machine Learning. Biasanya, Anda menggunakan CLI untuk mengotomatiskan tugas, seperti melatih model pembelajaran mesin.

Kode VS

Anda dapat menggunakan ekstensi Kode VS untuk menjalankan dan mengelola pekerjaan pelatihan Anda. Lihat panduan manajemen sumber daya Kode VS untuk mempelajari selengkapnya.

Langkah berikutnya

Pelajari cara Tutorial: Membuat alur ML produksi dengan Python SDK v2 dalam notebook Jupyter.