Panduan Migrasi untuk Beban Kerja Komputasi GPU di Azure

Karena GPU yang lebih kuat menjadi tersedia di marketplace dan di pusat data Microsoft Azure, kami sarankan untuk menilai kembali performa beban kerja Anda dan mempertimbangkan untuk bermigrasi ke GPU yang lebih baru.

Untuk alasan yang sama, serta untuk mempertahankan penawaran layanan berkualitas tinggi dan andal, Azure secara berkala memensiunkan perangkat keras yang menguatkan ukuran VM yang lebih tua. Kelompok pertama dari produk GPU yang akan pensiun di Azure adalah VM seri NC, NC v2 dan ND asli, yang masing-masing oleh akselerator GPU pusat data NVIDIA Tesla K80, P100, dan P40. Produk-produk ini akan dipensiunkan pada 31 Agustus 2022, dan VM tertua dalam seri ini diluncurkan pada 2016.

Sejak itu, GPU telah membuat langkah luar biasa bersama dengan seluruh industri pembelajaran mendalam dan HPC, biasanya melebihi dua kali lipat dalam performa antar generasi. Sejak peluncuran GPU NVIDIA K80, P40, dan P100, Azure telah mengirimkan beberapa generasi dan kategori produk VM yang lebih baru yang diarahkan pada komputasi dan AI GPU terakselerasi, berdasarkan GPU NVIDIA T4, V100, dan A100, dan dibedakan oleh fitur opsional seperti fabrik interkoneksi berbasis InfiniBand. Ini semua adalah opsi yang kami dorong untuk dijelajahi para pelanggan sebagai jalur migrasi.

Dalam kebanyakan kasus, peningkatan dramatis dalam performa yang ditawarkan oleh generasi baru GPU menurunkan TCO secara keseluruhan dengan mengurangi durasi pekerjaan, untuk pekerjaan yang burstable - atau mengurangi kuantitas keseluruhan VM yang didukung GPU yang diperlukan untuk memenuhi permintaan ukuran tetap untuk sumber daya komputasi, meskipun biaya per jam GPU bisa berbeda-beda. Selain manfaat ini, pelanggan dapat meningkatkan Waktu-ke-Solusi melalui VM performa lebih tinggi, dan meningkatkan kesehatan dan kemampuan dukungan solusi mereka dengan mengadopsi perangkat lunak, runtime CUDA, dan versi driver yang lebih baru.

Migrasi vs. Optimasi

Azure memahami bahwa pelanggan memiliki banyaknya persyaratan yang dapat mendikte pemilihan produk GPU VM tertentu, termasuk pertimbangan arsitektural GPU, interkoneksi, TCO, Waktu untuk Solusi, dan ketersediaan regional berdasarkan lokalitas kepatuhan atau persyaratan latensi- dan beberapa di antaranya bahkan berubah dari waktu ke waktu.

Pada saat yang sama, akselerasi GPU adalah area baru dan berkembang pesat.

Dengan demikian, tidak ada panduan satu ukuran pas untuk semua untuk area produk ini, dan migrasi adalah waktu yang tepat untuk mengevaluasi kembali perubahan yang berpotensi dramatis pada beban kerja- seperti bergerak dari model penyebaran berkluster ke VM 8-GPU besar tunggal atau sebaliknya, memanfaatkan jenis data presisi yang berkurang, mengadopsi fitur, seperti GPU Multi Instans, dan lebih banyak lagi.

Pertimbangan semacam ini - ketika dibuat konteks peningkatan performa GPU per generasi yang sudah dramatis, di mana fitur seperti penambahan TensorCores, dapat meningkatkan performa dengan urutan besaran, sangat spesifik untuk tiap beban kerja.

Menggabungkan migrasi dengan re-arsitektur aplikasi dapat menghasilkan nilai dan peningkatan yang sangat besar secara biaya dan waktu-ke-solusi.

Namun, perbaikan semacam ini berada di luar lingkup dokumen ini, yang bertujuan untuk fokus pada kelas ekuivalensi langsung untuk beban kerja umum yang dapat dijalankan oleh pelanggan hari ini, untuk mengidentifikasi opsi VM yang paling serupa baik dalam harga dan performa per GPU untuk keluarga VM yang ada yang sedang menuju masa pensiun.

Dengan demikian, dokumen ini mengasumsikan bahwa pengguna tidak dapat memiliki wawasan atau kontrol apa pun atas properti spesifik beban kerja, seperti jumlah instans VM yang diperlukan, GPU, interkoneksi, dan lainnya.

VM seri NC dengan GPU NVIDIA K80

VM Seri NC (v1) adalah tipe VM komputasi GPU terakselerasi tertua di Azure, didukung oleh 1 hingga 4 akselerator GPU pusat data NVIDIA Tesla K80 yang dipasangkan dengan prosesor Intel Xeon E5-2690 v3 (Haswell). Setelah tipe VM unggulan untuk meminta aplikasi AI, ML, dan HPC, mereka tetap menjadi pilihan populer di akhir siklus hidup produk (terutama melalui harga promosi seri NC) bagi pengguna yang menghargai memiliki biaya absolut yang sangat rendah per jam GPU dengan throughput per dolar yang lebih tinggi.

Hari ini, mengingat performa komputasi yang relatif rendah dari platform GPU NVIDIA K80 yang menua, dibandingkan dengan seri VM dengan GPU yang lebih baru, kasus penggunaan populer untuk seri NC adalah inferensi real time dan beban kerja analitik, di mana VM terakselerasi harus tersedia dalam kondisi stabil untuk melayani permintaan dari aplikasi saat mereka tiba. Dalam kasus ini volume atau ukuran batch permintaan bisa tidak memadai untuk mendapatkan keuntungan dari GPU yang lebih berkinerja tinggi. VM NC juga populer bagi pengembang dan siswa yang belajar tentang, mengembangkan, atau bereksperimen dengan akselerasi GPU, yang membutuhkan target penyebaran CUDA berbasis cloud yang tidak mahal untuk iterasi yang tidak perlu dilakukan ke tingkat produksi.

Secara umum, pelanggan seri NC sebaiknya mempertimbangkan untuk berpindah langsung dari ukuran NC ke ukuran NC T4 v3, platform akselerasi GPU baru Azure untuk beban kerja ringan yang didukung oleh GPU NVIDIA Tesla T4, meskipun SKU VM lainnya sebaiknya dipertimbangkan untuk beban kerja yang berjalan pada ukuran seri NC yang didukung InfiniBand.

Ukuran VM Saat Ini Ukuran VM Target Perbedaan dalam Spesifikasi
Standar_NC6
Standard_NC6_Promo
Standard_NC4as_T4_v3
atau
Standard_NC8as_T4
CPU: Intel Haswell versus AMD Roma
Jumlah GPU: 1 (sama)< br>Generasi GPU: NVIDIA Keppler vs. Turing (generasi +2, ~2x FP32 FLOPs)
Memori GPU (GiB per GPU): 16 (+4)
vCPU: 4 (-2) atau 8 (+2)
Memori GiB: 16 (-40) atau 56 (sama)
Penyimpanan sementara (SSD) GiB: 180 (-160) atau 360 (+20)
Disk data maksimum: 8 (-4) atau 16 (+4)
Jaringan Terakselerasi: Ya (+)
Penyimpanan Premium: Ya (+)
Standar_NC24
Standard_NC24_Promo
Standard_NC64as_T4_v3* CPU: Intel Haswell versus AMD Roma
Jumlah GPU: 4 (sama)
Generasi GPU: NVIDIA Keppler vs. Turing (generasi +2, ~2x FP32 FLOPs)
Memori GPU (GiB per GPU): 16 (+4)
vCPU: 64 (+40)
Memori GiB: 440 (+216)
Penyimpanan Sementara (SSD) GiB: 2880 (+1440)
Disk data maksimum: 32 (-32)
Jaringan Terakselerasi: Ya (+)
Penyimpanan Premium: Ya (+)
Standard_NC24r
Standard_NC24r_Promo

(Ukuran-yang didukung Pengklusteran InfiniBand)
Standard_NC24rs_v3* CPU: Intel Haswell versus Intel Broadwell
Jumlah GPU: 4 (sama)
Generasi GPU: NVIDIA Keppler versus Volta (+2 generasi)
Memori GPU (GiB per GPU): 16 (+4)
vCPU: 24 (+0)
Memori GiB: 448 (+224)
Penyimpanan Sementara (SSD) GiB: 2948 (+1440)
Disk data maksimum: 32 (sama)
Jaringan Diakselerasi: Tidak (Sama)
Penyimpanan Premium: Ya (+)
Interkoneksi InfiniBand: Ya

VM seri ND dengan GPU NVIDIA Tesla P40

Mesin virtual seri ND adalah platform menengah yang didesain orisinal untuk AI, dan beban kerja Pembelajaran Mendalam. Mereka menawarkan performa yang baik sekali untuk inferensi batch melalui peningkatan operasi poin mengambang presisi tunggal atas pendahulunya dan didukung oleh GPU NVIDIA Tesla P40 dan CPU Intel Xeon E5-2690 v4 (Broadwell). Seperti seri NC dan NC v2, seri ND menawarkan konfigurasi dengan latensi rendah sekunder, jaringan throughput tinggi melalui RDMA, dan konektivitas InfiniBand sehingga Anda dapat menjalankan pekerjaan pelatihan skala besar yang mencakup banyak GPU.

Ukuran VM Saat Ini Ukuran VM Target Perbedaan dalam Spesifikasi
Standard_ND6 Standard_NC4as_T4_v3
atau
Standard_NC8as_T4
CPU: Intel Broadwell versus AMD Roma
Jumlah GPU: 1 (sama)
Generasi GPU: NVIDIA Pascal versus Turing (+1 generasi)
Memori GPU (GiB per GPU): 16 (-8)
vCPU: 4 (-2) atau 8 (+2)
Memori GiB: 16 (-40) atau 56 (-56)
Penyimpanan Sementara (SSD) GiB: 180 (-552) atau 360 (-372)
Disk data maksimum: 8 (-4) atau 16 (+4)
Jaringan Terakselerasi: Ya (+)
Penyimpanan Premium: Ya (+)
Standard_ND12 Standard_NC16as_T4_v3 CPU: Intel Broadwell versus AMD Roma
Jumlah GPU: 1 (-1)
Generasi GPU: NVIDIA Pascal versus Turing (+1 generasi)
Memori GPU (GiB per GPU): 16 (-8)
vCPU: 16 (+4)
Memori GiB: 110 (-114)
Penyimpanan Sementara (SSD) GiB: 360 (-1,114)
Disk data maksimum: 48 (+16)
Jaringan Terakselerasi: Ya (+)
Penyimpanan Premium: Ya (+)
Standard_ND24 Standard_NC64as_T4_v3* CPU: Intel Broadwell versus AMD Roma
Jumlah GPU: 4 (sama)
Generasi GPU: NVIDIA Pascal versus Turing (+1 generasi)
Memori GPU (GiB per GPU): 16 (-8)
vCPU: 64 (+40)
Memori GiB: 440 (sama)
Penyimpanan Sementara (SSD) GiB: 2880 (sama)
Disk data maksimum: 32 (sama)
Jaringan Terakselerasi: Ya (+)
Penyimpanan Premium: Ya (+)
Standard_ND24r Standard_NC24rs_v3* CPU: Intel Broadwell (Sama)
Jumlah GPU: 4 (sama)
Generasi GPU: NVIDIA Pascal versus Volta (+1 generasi)
Memori GPU (GiB per GPU): 16 (-8)
vCPU: 24 (+0)
Memori GiB: 448 (sama)
Penyimpanan Sementara (SSD) GiB: 2948 (sama)
Disk data maksimum: 32 (sama)
Jaringan Diakselerasi: Tidak (Sama)
Penyimpanan Premium: Ya (+)
Interkoneksi InfiniBand: Ya (Sama)

VM seri NC v2 dengan GPU NVIDIA Tesla P100

Mesin virtual seri NC v2 adalah platform unggulan yang didesain orisinal untuk AI, dan beban kerja Pembelajaran Mendalam. Mereka menawarkan performa yang unggul untuk pelatihan Pembelajaran Mendalam, dengan performa per-GPU kurang lebih 2x dari seri NC orisinal dan didukung oleh GPU NVIDIA Tesla P100 dan CPU Intel Xeon E5-2690 v4 (Broadwell). Seperti seri NC dan ND, Seri NC v2 menawarkan konfigurasi dengan latensi rendah sekunder, jaringan throughput tinggi melalui RDMA, dan konektivitas InfiniBand sehingga Anda dapat menjalankan pekerjaan pelatihan skala besar yang mencakup banyak GPU.

Ukuran VM Saat Ini Ukuran VM Target Perbedaan dalam Spesifikasi
Standar_NC6s_v2 Standard_NC6s_v3 CPU: Intel Broadwell (Sama)
Jumlah GPU: 1 (sama)
Generasi GPU: NVIDIA Pascal versus Volta (+1 generasi)
Memori GPU (GiB per GPU): 16 (sama)
vCPU: 6 (sama)
Memori GiB: 112 (sama)
Penyimpanan Sementara (SSD) GiB: 736 (sama)
Disk data maksimum: 12 (sama)
Jaringan Diakselerasi: Tidak (Sama)
Penyimpanan Premium: Ya (+)
Standar_NC12s_v2 Standard_NC12s_v3 CPU: Intel Broadwell (Sama)
Jumlah GPU: 2 (sama)
Generasi GPU: NVIDIA Pascal versus Volta (+1 generasi)
Memori GPU (GiB per GPU): 16 (sama)
vCPU: 12 (sama)
Memori GiB: 112 (sama)
Penyimpanan Sementara (SSD) GiB: 1474 (sama)
Disk data maksimum: 24 (sama)
Jaringan Diakselerasi: Tidak (Sama)
Penyimpanan Premium: Ya (+)
Standar_NC24s_v2 Standard_NC24s_v3 CPU: Intel Broadwell (Sama)
Jumlah GPU: 4 (sama)
Generasi GPU: NVIDIA Pascal versus Volta (+1 generasi)
Memori GPU (GiB per GPU): 16 (sama)
vCPU: 24 (sama)
Memori GiB: 448 (sama)
Penyimpanan Sementara (SSD) GiB: 2948 (sama)
Disk data maksimum: 32 (sama)
Jaringan Diakselerasi: Tidak (Sama)
Penyimpanan Premium: Ya (+)
Standard_NC24rs_v2 Standard_NC24rs_v3* CPU: Intel Broadwell (Sama)
Jumlah GPU: 4 (sama)
Generasi GPU: NVIDIA Pascal versus Volta (+1 generasi)
Memori GPU (GiB per GPU): 16 (sama)
vCPU: 24 (sama)
Memori GiB: 448 (sama)
Penyimpanan Sementara (SSD) GiB: 2948 (sama)
Disk data maksimum: 32 (sama)
Jaringan Diakselerasi: Tidak (Sama)
Penyimpanan Premium: Ya (+)
Interkoneksi InfiniBand: Ya (Sama)

Langkah migrasi

Perubahan Umum

  1. Pilih seri dan ukuran untuk migrasi. Memanfaatkan kalkulator harga untuk wawasan lebih lanjut.

  2. Mendapatkan kuota untuk seri VM target

  3. Mengubah ukuran VM seri N* saat ini ke ukuran target. Ini mungkin juga saat yang tepat untuk perbarui sistem operasi yang digunakan oleh citra Mesin Virtual Anda, atau adopsi salah satu citra HPC dengan driver pra-instal sebagai titik awal Anda.

    Penting

    Citra VM Anda mungkin telah diproduksi dengan versi yang lebih lama dari runtime CUDA, driver NVIDIA, dan (jika dapat diterapkan, hanya untuk ukuran RDMA yang didukung) driver Mellanox OFED daripada yang dibutuhkan seri VM GPU baru Anda, yang dapat diperbarui dengan mengikuti instruksi berikut dalam Dokumentasi Azure.

Memecahkan Perubahan

Memilih ukuran target untuk migrasi

Setelah menilai penggunaan Anda saat ini, putuskan jenis VM GPU apa yang Anda butuhkan. Tergantung pada persyaratan beban kerja Anda memiliki beberapa pilihan yang berbeda.

Catatan

Praktik terbaik adalah memilih ukuran VM berdasarkan pertimbangan biaya dan performa. Rekomendasi dalam panduan ini didasarkan pada tujuan umum, metrik performa satu banding satu dan kecocokan terdekat dalam seri VM lain. Sebelum memutuskan ukuran yang tepat, dapatkan perbandingan biaya menggunakan Kalkulator Harga Azure.

Penting

Semua ukuran seri NC, NC v2 dan ND warisan tersedia dalam ukuran multi-GPU, termasuk ukuran 4-GPU dengan dan tanpa interkoneksi InfiniBand untuk peluasan skala, beban kerja yang digabungkan erat yang menuntut lebih banyak daya komputasi daripada VM 4-GPU tunggal, atau GPU K80 tunggal, P40, atau P100 tunggal yang masing-masing dapat memasoknya. Meskipun rekomendasi di atas menawarkan jalur langsung ke depan, pengguna ukuran ini harus mempertimbangkan untuk mencapai tujuan performa mereka dengan seri VM berbasis GPU NVIDIA V100 yang lebih kuat seperti NC Seri v3 dan ND seri v2, yang biasanya memungkinkan tingkat performa beban kerja yang sama dengan biaya lebih rendah dan dengan peningkatan pengelolaan yang memberikan performa yang jauh lebih besar per GPU dan per VM sebelum konfigurasi multi-GPU dan multi-node diperlukan.

Mendapatkan kuota untuk keluarga VM target

Ikuti panduan untuk meminta peningkatan kuota vCPU oleh keluarga VM. Pilih ukuran VM target yang telah Anda pilih untuk migrasi.

Mengubah ukuran mesin virtual saat ini

Anda dapat mengubah ukuran komputer virtual.

Langkah berikutnya

Untuk daftar lengkap ukuran mesin virtual yang diaktifkan GPU, lihat GPU - gambaran umum komputasi yang dipercepat