Menyebarkan model pembelajaran mesin ke AKS dengan Kubeflow

Penyimpanan Blob
Container Registry
Kubernetes Service

Ide Solusi

Jika Anda ingin melihat kami memperluas artikel ini dengan lebih banyak informasi, seperti kasus penggunaan potensial, layanan alternatif, pertimbangan penerapan, atau panduan harga, beri tahu kami dengan Umpan Balik GitHub!

Ide solusi ini adalah tentang inferensi real time di Azure Kubernetes Service (AKS).

Potensi kasus penggunaan

Gunakan AKS saat Anda memerlukan penyebaran produksi skala tinggi dari model pembelajaran mesin Anda. Skala tinggi berarti kemampuan seperti waktu respons cepat, penskalaan otomatis layanan yang disebarkan, dan pengelogan. Untuk informasi selengkapnya, lihat Menyebarkan model ke kluster Azure Kubernetes Service.

Dalam solusi ini, Kubeflow digunakan untuk mengelola penyebaran ke AKS. Model ML Anda berjalan pada kluster AKS yang didukung oleh VM berkemampuan GPU.

Arsitektur

Architecture diagram: deploying machine learning models to Azure Kubernetes Services (AKS).Unduh SVG arsitektur ini.

Aliran data

  1. Buat paket model pembelajaran mesin (ML) ke dalam kontainer dan terbitkan ke Azure Container Registry (ACR).
  2. Penyimpanan Azure Blob menghosting himpunan data pelatihan dan model terlatih.
  3. Gunakan Kubeflow untuk menyebarkan tugas pelatihan ke Azure Kubernetes Services (AKS); pekerjaan pelatihan terdistribusi ke AKS mencakup server Parameter dan node Pekerja.
  4. Sajikan model produksi menggunakan Kubeflow, mempromosikan lingkungan yang konsisten di seluruh pengujian, kontrol, dan produksi.
  5. AKS mendukung VM berkemampuan GPU.
  6. Pengembang membuat fitur untuk mengkueri model yang berjalan di kluster AKS.

Komponen

Langkah berikutnya

Baca dokumentasi produk:

Lihat artikel Pusat Arsitektur lainnya: