Ide solusi
Artikel ini adalah ide solusi. Jika Anda ingin kami memperluas konten dengan informasi lebih lanjut, seperti potensi kasus penggunaan, layanan alternatif, pertimbangan implementasi, atau panduan harga, beri tahu kami dengan memberikan umpan balik GitHub.
Artikel ini menyajikan solusi untuk inferensi real time di Azure Kubernetes Service (AKS).
Arsitektur
Unduh file Visio arsitektur ini.
Aliran data
- Model pembelajaran mesin dimas ke dalam kontainer dan diterbitkan ke Azure Container Registry.
- Azure Blob Storage menghosting himpunan data pelatihan dan model terlatih.
- Kubeflow digunakan untuk menyebarkan pekerjaan pelatihan ke AKS, termasuk server parameter dan simpul pekerja.
- Kubeflow digunakan untuk membuat model produksi tersedia. Langkah ini mempromosikan lingkungan yang konsisten di seluruh pengujian, kontrol, dan produksi.
- AKS mendukung VM yang mendukung GPU.
- Pengembang membangun fitur untuk mengkueri model yang berjalan di kluster AKS.
Komponen
- Blob Storage adalah layanan yang merupakan bagian dari Azure Storage. Blob Storage menawarkan penyimpanan objek cloud yang dioptimalkan untuk sejumlah besar data tidak terstruktur.
- Container Registry membangun, menyimpan, dan mengelola gambar kontainer dan dapat menyimpan model pembelajaran mesin dalam kontainer.
- AKS adalah layanan Kubernetes yang sangat tersedia, aman, dan dikelola sepenuhnya. AKS memudahkan Anda menyebarkan dan mengelola aplikasi kontainer.
- Pembelajaran Mesin adalah lingkungan berbasis cloud yang dapat Anda gunakan untuk melatih, menyebarkan, mengotomatiskan, mengelola, dan melacak model pembelajaran mesin. Anda dapat menggunakan model untuk memperkirakan perilaku, hasil, dan tren di masa mendatang.
Detail skenario
AKS berguna ketika Anda memerlukan penyebaran produksi skala tinggi dari model pembelajaran mesin Anda. Penyebaran skala tinggi melibatkan waktu respons yang cepat, penskalaan otomatis layanan yang disebarkan, dan pengelogan. Untuk informasi selengkapnya, lihat Menyebarkan model ke kluster Azure Kubernetes Service.
Solusi ini menggunakan Kubeflow untuk mengelola penyebaran ke AKS. Model pembelajaran mesin berjalan pada kluster AKS yang didukung oleh komputer virtual (VM) dengan dukungan GPU.
Kemungkinan kasus penggunaan
Solusi ini berlaku untuk skenario yang menggunakan VM berkemampuan AKS dan GPU untuk pembelajaran mesin. Contoh meliputi:
- Sistem klasifikasi gambar.
- Algoritma pemrosesan bahasa alami.
- Sistem pemeliharaan prediktif.
Langkah berikutnya
- Apa itu Azure Pembelajaran Mesin?
- Azure Kubernetes Service (AKS)
- Menyebarkan model ke kluster Azure Kubernetes Service
- Kubeflow di Azure
- Apa itu Azure Blob Storage?
- Pengantar registri kontainer di Azure