Siapkan lingkungan pengembangan Python untuk Azure Machine Learning

Pelajari cara mengonfigurasi lingkungan pengembangan Python untuk Azure Machine Learning.

Tabel berikut ini memperlihatkan setiap lingkungan pengembangan yang tercakup dalam artikel ini, bersama dengan pro dan kontra.

Lingkungan Pro Kontra
Lingkungan lokal Kontrol penuh atas lingkungan pengembangan dan dependensi Anda. Jalankan dengan alat build, lingkungan, atau IDE pilihan Anda. Butuh waktu lebih lama untuk memulai. Paket SDK yang diperlukan harus diinstal, dan lingkungan juga harus diinstal jika Anda belum memilikinya.
Data Science Virtual Machine (DSVM) Mirip dengan instans komputasi berbasis cloud (Python dan SDK telah diinstal sebelumnya), tetapi dengan ilmu data populer dan alat pembelajaran mesin tambahan yang telah diinstal sebelumnya. Mudah diskalakan dan digabungkan dengan alat dan alur kerja kustom lainnya. Pengalaman memulai yang lebih lambat dibandingkan dengan instans komputasi berbasis cloud.
Instans komputasi Azure Machine Learning Cara termudah untuk memulai. Seluruh SDK sudah diinstal di ruang kerja komputer virtual Anda, dan tutorial notebook telah dikloning sebelumnya dan siap dijalankan. Kurangnya kontrol atas lingkungan pengembangan dan dependensi Anda. Biaya tambahan yang dikeluarkan untuk Linux VM (VM dapat dihentikan ketika tidak digunakan untuk menghindari biaya). Lihat detail harga.
Azure Databricks Ideal untuk menjalankan alur kerja pembelajaran mesin intensif berskala besar di platform Apache Spark yang dapat diskalakan. Berlebihan untuk pembelajaran mesin eksperimental, atau eksperimen dan alur kerja berskala kecil. Biaya tambahan yang dikeluarkan untuk Azure Databricks. Lihat detail harga.

Artikel ini juga menyediakan tip penggunaan tambahan untuk alat berikut:

  • Jupyter Notebooks: Jika sudah menggunakan Jupyter Notebooks, SDK memiliki beberapa tambahan yang harus Anda instal.

  • Visual Studio Code: Jika Anda menggunakan Visual Studio Code, ekstensi Azure Machine Learning mencakup dukungan bahasa yang luas untuk Python serta fitur untuk membuat bekerja dengan Azure Machine Learning jauh lebih nyaman dan produktif.

Prasyarat

Hanya lokal dan DSVM: Buat file konfigurasi ruang kerja

File konfigurasi ruang kerja adalah file JSON yang memberi tahu SDK cara berkomunikasi dengan ruang kerja Azure Machine Learning Anda. File diberi nama config.js, dan memiliki format berikut:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

File JSON ini harus berada dalam struktur direktori yang berisi skrip Python atau Jupyter Notebooks Anda. Ini bisa berada di direktori yang sama, subdirektori bernama .azureml, atau di direktori induk.

Untuk menggunakan file ini dari kode Anda, gunakan Workspace.from_configmetode. Kode ini memuat informasi dari file dan terhubung ke ruang kerja Anda.

Buat file konfigurasi ruang kerja di salah satu metode berikut:

  • Portal Azure

    Unduh file: Di portal Microsoft Azure, pilih Unduh config.json dari bagian Gambaran Umum ruang kerja Anda.

    Portal Azure

  • Azure Machine Learning Python SDK

    Buat skrip untuk terhubung ke ruang kerja Azure Machine Learning Anda dan write_config gunakan metode untuk menghasilkan file Anda dan simpan sebagai .azureml/config.jsdi. Pastikan untuk subscription_id mengganti, resource_group dan workspace_name dengan milik Anda sendiri.

    from azureml.core import Workspace
    
    subscription_id = '<subscription-id>'
    resource_group  = '<resource-group>'
    workspace_name  = '<workspace-name>'
    
    try:
        ws = Workspace(subscription_id = subscription_id, resource_group = resource_group, workspace_name = workspace_name)
        ws.write_config()
        print('Library configuration succeeded')
    except:
        print('Workspace not found')
    

Komputer lokal atau lingkungan komputer virtual jarak jauh

Anda dapat mengatur lingkungan di komputer lokal atau mesin virtual jarak jauh, seperti instans komputasi Azure Machine Learning atau Data Science VM.

Untuk mengonfigurasi lingkungan pengembangan lokal atau komputer virtual jarak jauh:

  1. Buat lingkungan virtual Python (virtualenv, conda).

    Catatan

    Meskipun tidak diperlukan, Anda disarankan menggunakan Anaconda atau Miniconda untuk mengelola lingkungan virtual Python dan menginstal paket.

    Penting

    Jika Anda menggunakan Linux atau macOS dan menggunakan shell selain bash (misalnya, zsh) Anda mungkin menerima kesalahan saat menjalankan beberapa perintah. Untuk mengatasi masalah ini, gunakan bash perintah untuk memulai bash shell baru dan jalankan perintah di sana.

  2. Aktifkan lingkungan virtual Python yang baru dibuat.

  3. Instal Azure Machine Learning Python SDK yang diinstal.

  4. Untuk mengonfigurasi lingkungan lokal Anda untuk menggunakan ruang kerja Azure Machine Learning Anda, buat file konfigurasi ruang kerja, atau gunakan yang sudah ada.

Setelah menyiapkan lingkungan lokal, Anda siap untuk mulai bekerja dengan Azure Machine Learning. Lihat panduan memulai Azure Machine Learning Python untuk memulai.

Jupyter Notebooks

Saat menjalankan server Jupyter Notebooks lokal, disarankan agar Anda membuat kernel IPython untuk lingkungan virtual Python Anda. Proses ini membantu memastikan perilaku impor kernel dan paket yang diharapkan.

  1. Aktifkan kernel IPython khusus lingkungan

    conda install notebook ipykernel
    
  2. Buat kernel untuk lingkungan virtual Python Anda. Pastikan untuk mengganti <myenv> dengan nama lingkungan virtual Python Anda.

    ipython kernel install --user --name <myenv> --display-name "Python (myenv)"
    
  3. Luncurkan server Jupyter Notebook

Lihat repositori notebook Azure Machine Learning untuk mulai menggunakan Azure Machine Learning dan Jupyter Notebooks.

Catatan

Repositori contoh berbasis komunitas dapat ditemukan di https://github.com/Azure/azureml-examples.

Visual Studio Code

Untuk menggunakan Visual Studio Code untuk pengembangan:

  1. Instal Visual Studio Code.
  2. Instal ekstensi Azure Machine Learning Visual Studio Code (pratinjau).

Setelah ekstensi Visual Studio Code terinstal, gunakan ekstensi tersebut untuk:

Instans komputasi Azure Machine Learning

Instans komputasi Azure Machine Learning adalah stasiun kerja Azure berbasis cloud yang aman yang menyediakan server Jupyter Notebook, JupyterLab, dan lingkungan pembelajaran mesin yang dikelola sepenuhnya kepada ilmuwan data.

Tidak ada yang perlu diinstal atau dikonfigurasi untuk instans komputasi.

Buat kapan saja dari dalam ruang kerja Azure Machine Learning Anda. Berikan nama saja dan tentukan jenis Azure VM. Coba sekarang dengan Tutorial ini: Pengaturan lingkungan dan ruang kerja.

Untuk mempelajari selengkapnya tentang instans komputasi, termasuk cara menginstal paket, lihat Membuat dan mengelola instans komputasi Azure Machine Learning.

Tip

Untuk mencegah biaya yang dikenakan untuk instans komputasi yang tidak digunakan, hentikan instans komputasi.

Selain server Jupyter Notebook dan JupyterLab, Anda dapat menggunakan instans komputasi di fitur notebook terintegrasi di dalam studio Azure Machine Learning.

Anda juga dapat menggunakan ekstensi Azure Machine Learning Visual Studio Code untuk terhubung ke instans komputasi jarak jauh menggunakan VS Code.

Data Science Virtual Machine

Data Science VM adalah gambar mesin virtual (VM) khusus yang dapat Anda gunakan sebagai lingkungan pengembangan. Ini dirancang untuk pekerjaan ilmu data yang telah dikonfigurasi sebelumnya alat dan perangkat lunak seperti:

  • Paket seperti TensorFlow, PyTorch, Scikit-learn, XGBoost, dan Azure Machine Learning SDK
  • Alat ilmu data populer seperti Spark Standalone dan Drill
  • Alat Azure seperti Azure CLI, AzCopy, dan Storage Explorer
  • Lingkungan pengembangan terintegrasi (IDEs) seperti Visual Studio Code dan PyCharm
  • Jupyter Notebook Server

Untuk daftar alat yang lebih komprehensif, lihat panduan alat Data Science VM.

Penting

Jika Anda berencana menggunakan Data Science VM sebagai target komputasi untuk pelatihan atau tugas inferensi Anda, hanya Ubuntu yang didukung.

Untuk menggunakan Data Science VM sebagai lingkungan pengembangan:

  1. Buat Data Science VM menggunakan salah satu metode berikut:

    • Gunakan portal Microsoft Azure untuk membuat Ubuntu atau Windows DSVM.

    • Buat Data Science VM menggunakan templat ARM.

    • Menggunakan Azure CLI

      Untuk membuat Ubuntu Data Science VM, gunakan perintah berikut:

      # create a Ubuntu Data Science VM in your resource group
      # note you need to be at least a contributor to the resource group in order to execute this command successfully
      # If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
      az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password
      

      Untuk membuat Windows DSVM, gunakan perintah berikut:

      # create a Windows Server 2016 DSVM in your resource group
      # note you need to be at least a contributor to the resource group in order to execute this command successfully
      az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password
      
  2. Aktifkan lingkungan conda yang berisi Azure Machine Learning SDK.

    • Untuk Ubuntu Data Science VM:

      conda activate py36
      
    • Untuk Windows Data Science VM:

      conda activate AzureML
      
  3. Untuk mengonfigurasi Data Science VM untuk menggunakan ruang kerja Azure Machine Learning Anda, buat file konfigurasi ruang kerja, atau gunakan yang sudah ada.

Mirip dengan lingkungan lokal, Anda dapat menggunakan Visual Studio Code dan ekstensi Azure Machine Learning Visual Studio Code untuk berinteraksi dengan Azure Machine Learning.

Selengkapnya, lihat Data Science Virtual Machines.

Langkah berikutnya