Menyiapkan lingkungan pengembangan Python untuk Azure Machine Learning (v1)

Pelajari cara mengonfigurasi lingkungan pengembangan Python untuk Azure Machine Learning.

Tabel berikut ini memperlihatkan setiap lingkungan pengembangan yang tercakup dalam artikel ini, bersama dengan pro dan kontra.

Lingkungan	Pro	Kontra
Lingkungan lokal	Kontrol penuh atas lingkungan pengembangan dan dependensi Anda. Jalankan dengan alat build, lingkungan, atau IDE pilihan Anda.	Butuh waktu lebih lama untuk memulai. Paket SDK yang diperlukan harus diinstal, dan lingkungan juga harus diinstal jika Anda belum memilikinya.
Data Science Virtual Machine (DSVM)	Mirip dengan instans komputasi berbasis cloud (Python dan SDK telah diinstal sebelumnya), tetapi dengan ilmu data populer lainnya dan alat pembelajaran mesin yang telah diinstal sebelumnya. Mudah diskalakan dan digabungkan dengan alat dan alur kerja kustom lainnya.	Pengalaman memulai yang lebih lambat dibandingkan dengan instans komputasi berbasis cloud.
Instans komputasi Azure Machine Learning	Cara termudah untuk memulai. Seluruh SDK sudah diinstal di ruang kerja komputer virtual Anda, dan tutorial notebook telah dikloning sebelumnya dan siap dijalankan.	Kurangnya kontrol atas lingkungan pengembangan dan dependensi Anda. Biaya tambahan yang dikeluarkan untuk VM Linux (VM dapat dihentikan ketika tidak digunakan untuk menghindari biaya). Lihat detail harga.
Azure Databricks	Ideal untuk menjalankan alur kerja pembelajaran mesin intensif berskala besar di platform Apache Spark yang dapat diskalakan.	Berlebihan untuk pembelajaran mesin eksperimental, atau eksperimen dan alur kerja berskala kecil. Biaya tambahan yang dikeluarkan untuk Azure Databricks. Lihat detail harga.

Artikel ini juga menyediakan tips penggunaan untuk alat berikut:

• Jupyter Notebooks: Jika sudah menggunakan Jupyter Notebooks, SDK memiliki beberapa tambahan yang harus Anda instal.

• Visual Studio Code: Jika Anda menggunakan Visual Studio Code, ekstensi Azure Machine Learning mencakup dukungan bahasa yang luas untuk Python dan fitur untuk membuat bekerja dengan Azure Machine Learning jauh lebih nyaman dan produktif.

Prasyarat

• Ruang kerja Azure Machine Learning. Jika tidak memilikinya, Anda bisa membuat ruang kerja Azure Machine Learning melalui Portal Azure, Azure CLI, dan templat Azure Resource Manager.

Hanya lokal dan DSVM: Buat file konfigurasi ruang kerja

File konfigurasi ruang kerja adalah file JSON yang memberi tahu SDK cara berkomunikasi dengan ruang kerja Azure Machine Learning Anda. File diberi nama config.js, dan memiliki format berikut:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

File JSON ini harus berada dalam struktur direktori yang berisi skrip Python atau Jupyter Notebooks Anda. Ini dapat berada di direktori yang sama, subdirektori bernama .azureml, atau di direktori induk.

Untuk menggunakan file ini dari kode Anda, gunakan Workspace.from_configmetode. Kode ini memuat informasi dari file dan terhubung ke ruang kerja Anda.

Buat file konfigurasi ruang kerja di salah satu metode berikut:

• Portal Azure

  Unduh file: Di portal Azure, pilih Unduh config.json dari bagian Gambaran Umum di ruang kerja Anda.

  

• Azure Machine Learning Python SDK

  Buat skrip untuk terhubung ke ruang kerja Azure Machine Learning Anda dan write_config gunakan metode untuk menghasilkan file Anda dan simpan sebagai .azureml/config.jsdi. Pastikan untuk subscription_id mengganti, resource_group dan workspace_name dengan milik Anda sendiri.

  BERLAKU UNTUK:Python SDK azureml v1

  from azureml.core import Workspace
  
  subscription_id = '<subscription-id>'
  resource_group  = '<resource-group>'
  workspace_name  = '<workspace-name>'
  
  try:
      ws = Workspace(subscription_id = subscription_id, resource_group = resource_group, workspace_name = workspace_name)
      ws.write_config()
      print('Library configuration succeeded')
  except:
      print('Workspace not found')
  

Komputer lokal atau lingkungan komputer virtual jarak jauh

Anda dapat mengatur lingkungan di komputer lokal atau mesin virtual jarak jauh, seperti instans komputasi Azure Machine Learning atau Data Science VM.

Untuk mengonfigurasi lingkungan pengembangan lokal atau komputer virtual jarak jauh:

1. Buat lingkungan virtual Python (virtualenv, conda).

   Catatan

   Meskipun tidak diperlukan, Anda disarankan menggunakan Anaconda atauMiniconda untuk mengelola lingkungan virtual Python dan menginstal paket.

   Penting

   Jika Anda menggunakan Linux atau macOS dan menggunakan shell selain bash (misalnya, zsh) Anda mungkin menerima kesalahan saat menjalankan beberapa perintah. Untuk mengatasi masalah ini, gunakan bash perintah untuk memulai bash shell baru dan jalankan perintah di sana.

2. Aktifkan lingkungan virtual Python yang baru dibuat.

3. Instal Azure Machine Learning Python SDK yang diinstal.

4. Untuk mengonfigurasi lingkungan lokal Anda untuk menggunakan ruang kerja Azure Machine Learning Anda, buat file konfigurasi ruang kerja, atau gunakan yang sudah ada.

Setelah menyiapkan lingkungan lokal, Anda siap untuk mulai bekerja dengan Azure Machine Learning. Lihat panduan memulai Azure Machine Learning Python untuk memulai.

Jupyter Notebooks

Saat menjalankan server Jupyter Notebooks lokal, disarankan agar Anda membuat kernel IPython untuk lingkungan virtual Python Anda. Proses ini membantu memastikan perilaku impor kernel dan paket yang diharapkan.

1. Aktifkan kernel IPython khusus lingkungan

   conda install notebook ipykernel
   

2. Buat kernel untuk lingkungan virtual Python Anda. Pastikan untuk mengganti <myenv> dengan nama lingkungan virtual Python Anda.

   ipython kernel install --user --name <myenv> --display-name "Python (myenv)"
   

3. Luncurkan server Jupyter Notebook

Lihat repositori notebook Azure Machine Learning untuk mulai menggunakan Azure Machine Learning dan Jupyter Notebooks. Lihat juga repositori berbasis komunitas, AzureML-Examples.

Visual Studio Code

Untuk menggunakan Visual Studio Code untuk pengembangan:

1. Instal Visual Studio Code.

2. Instal ekstensi Azure Machine Learning Visual Studio Code (pratinjau).

   Penting

   Fitur ini sedang dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan yang dibatasi.

   Untuk informasi lebih lanjut, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Setelah ekstensi Visual Studio Code terinstal, gunakan ekstensi tersebut untuk:

• Mengelola sumber daya Azure Machine Learning Anda
• Luncurkan Visual Studio Code terhubung dari jarak jauh ke instans komputasi (pratinjau)
• Jalankan dan debug eksperimen
• Menyebarkan model terlatih (CLI v2).

Instans komputasi Azure Machine Learning

Instans komputasi Azure Machine Learning adalah stasiun kerja Azure berbasis cloud yang aman yang menyediakan server Jupyter Notebook, JupyterLab, dan lingkungan pembelajaran mesin yang dikelola sepenuhnya kepada ilmuwan data.

Tidak ada yang perlu diinstal atau dikonfigurasi untuk instans komputasi.

Buat kapan saja dari dalam ruang kerja Azure Machine Learning Anda. Berikan nama saja dan tentukan jenis Azure VM. Coba sekarang dengan Buat sumber daya untuk memulai.

Untuk mempelajari selengkapnya tentang instans komputasi, termasuk cara menginstal paket, lihat Membuat dan mengelola instans komputasi Azure Machine Learning.

Tip

Untuk mencegah biaya yang dikenakan untuk instans komputasi yang tidak digunakan, hentikan instans komputasi. Atau aktifkan matikan diam untuk instans komputasi.

Selain server Jupyter Notebook dan JupyterLab, Anda dapat menggunakan instans komputasi di fitur notebook terintegrasi di dalam studio Azure Machine Learning.

Anda juga dapat menggunakan ekstensi Azure Machine Learning Visual Studio Code untuk terhubung ke instans komputasi jarak jauh menggunakan VS Code.

Data Science Virtual Machine

Data Science VM adalah gambar mesin virtual (VM) khusus yang dapat Anda gunakan sebagai lingkungan pengembangan. Ini dirancang untuk pekerjaan ilmu data yang telah dikonfigurasi sebelumnya alat dan perangkat lunak seperti:

• Paket seperti TensorFlow, PyTorch, Scikit-learn, XGBoost, dan Azure Machine Learning SDK
• Alat ilmu data populer seperti Spark Standalone dan Drill
• Alat Azure seperti Azure CLI, AzCopy, dan Storage Explorer
• Lingkungan pengembangan terintegrasi (IDEs) seperti Visual Studio Code dan PyCharm
• Jupyter Notebook Server

Untuk daftar alat yang lebih komprehensif, lihat panduan alat Data Science VM.

Penting

Jika Anda berencana menggunakan Data Science VM sebagai target komputasi untuk pelatihan atau tugas inferensi Anda, hanya Ubuntu yang didukung.

Untuk menggunakan Data Science VM sebagai lingkungan pengembangan:

1. Buat Data Science VM menggunakan salah satu metode berikut:

   • Gunakan portal Microsoft Azure untuk membuat Ubuntu atauWindows DSVM.

   • Buat Data Science VM menggunakan templat ARM.

   • Menggunakan Azure CLI

     Untuk membuat Ubuntu Data Science VM, gunakan perintah berikut:

     # create a Ubuntu Data Science VM in your resource group
     # note you need to be at least a contributor to the resource group in order to execute this command successfully
     # If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
     az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password
     

     Untuk membuat Windows DSVM, gunakan perintah berikut:

     # create a Windows Server 2016 DSVM in your resource group
     # note you need to be at least a contributor to the resource group in order to execute this command successfully
     az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password
     

2. Aktifkan lingkungan conda yang berisi Azure Machine Learning SDK.

   • Untuk Ubuntu Data Science VM:

     conda activate py36
     

   • Untuk Windows Data Science VM:

     conda activate AzureML
     

3. Untuk mengonfigurasi Data Science VM untuk menggunakan ruang kerja Azure Machine Learning Anda, buat file konfigurasi ruang kerja, atau gunakan yang sudah ada.

Mirip dengan lingkungan lokal, Anda dapat menggunakan Visual Studio Code dan ekstensi Azure Machine Learning Visual Studio Code untuk berinteraksi dengan Azure Machine Learning.

Selengkapnya, lihat Data Science Virtual Machines.

Langkah berikutnya

• Latih dan sebarkan model di Azure Machine Learning dengan himpunan data MNIST.
• Lihat Azure Machine Learning SDK untuk referensi Python.