Apa itu Azure Batch?
Gunakan Azure Batch untuk menjalankan tugas batch paralel dengan skala besar dan komputasi kinerja tinggi (HPC) secara efisien di Azure. Azure Batch membuat dan mengelola kumpulan simpul komputasi (komputer virtual), menginstal aplikasi yang ingin Anda jalankan, dan menjadwalkan pekerjaan untuk berjalan pada simpul. Tidak ada perangkat lunak kluster atau penjadwal pekerjaan untuk menginstal, mengelola, atau menskalakan. Sebagai gantinya, gunakanBatch API dan alat, skrip baris perintah, atau portal Microsoft Azure untuk mengkonfigurasi, mengelola, dan memantau pekerjaan Anda.
Pengembang dapat menggunakan Batch sebagai layanan platform untuk membangun aplikasi SaaS atau aplikasi klien di mana eksekusi skala besar diperlukan. Misalnya, Anda dapat membangun layanan dengan Batch untuk menjalankan simulasi risiko Monte Carlo untuk perusahaan jasa keuangan, atau layanan untuk memproses banyak gambar.
Tidak ada biaya tambahan untuk menggunakan Batch ini. Anda hanya membayar sumber daya yang mendasari yang dikonsumsi, seperti komputer virtual, penyimpanan, dan jaringan.
Untuk perbandingan antara Batch dan opsi solusi HPC lainnya di Azure, lihat Komputasi Kinerja Tinggi (HPC) di Azure.
Jalankan beban kerja paralel
Batch bekerja dengan baik dengan beban kerja paralel intrinsik (juga dikenal sebagai “embarrasingly parallel”). Beban kerja paralel intrinsik memiliki aplikasi yang dapat berjalan secara independen, dengan setiap instans menyelesaikan bagian dari pekerjaan. Ketika aplikasi dijalankan, akan mengakses beberapa data umum, tetapi tidak berkomunikasi dengan instans aplikasi lain. Oleh karena itu beban kerja paralel intrinsik dapat berjalan dalam skala besar, ditentukan oleh jumlah sumber daya komputasi yang tersedia untuk menjalankan aplikasi secara bersamaan.
Beberapa contoh beban kerja paralel intrinsik yang dapat Anda bawa ke Batch:
- Pemodelan risiko keuangan menggunakan simulasi Monte Carlo
- Penyajian gambar VFX dan 3D
- Analisis dan pemrosesan gambar
- Transcoding media
- Analisis urutan genetik
- Pengenalan Karakter Optik (OCR)
- Penyerapan data, pemrosesan, dan operasi ETL
- Eksekusi uji perangkat lunak
Anda dapat menggunakan Batch untukmenjalankan beban kerja yang digabungkan dengan ketat, di mana aplikasi yang dijalankan perlu berkomunikasi satu sama lain, daripada berjalan secara mandiri. Aplikasi yang digabungkan dengan ketat biasanya menggunakan Message Passing Interface (MPI) dari API. Anda dapat menjalankan beban kerja yang digabungkan dengan ketat dengan Batch menggunakan Microsoft MPI atau Intel MPI. Tingkatkan kinerja aplikasi denganHPC khususdan ukuran komputer virtual yang dioptimalkanuntuk GPU.
Beberapa contoh beban kerja yang digabungkan dengan ketat:
- Analisis elemen terbatas
- Dinamika fluid
- Pelatihan AI multi-simpul
Banyak pekerjaan yang digabungkan erat dapat dijalankan secara paralel menggunakan Batch. Misalnya, lakukan beberapa simulasi cairan yang mengalir melalui pipa dengan lebar pipa yang bervariasi.
Kapabilitas Batch Tambahan
Batch mendukung beban kerja penyajian berskala besar dengan alat penyajian termasuk Autodesk Maya, 3ds Max, Arnold, dan V-Ray.
Anda dapat menjalankan pekerjaan Batch sebagai bagian dari alur kerja Azure yang lebih besar untuk mengubah data, dikelola oleh alat seperti Azure Data Factory.
Cara kerjanya
Skenario umum untuk Batch melibatkan peluasan skala pekerjaan paralel intrinsik, seperti penyajian gambar untuk adegan 3D, pada kumpulan simpul komputasi. Kumpulan ini dapat menjadi "render farm" Anda yang menyediakan puluhan, ratusan, atau bahkan ribuan inti untuk pekerjaan penyajian Anda.
Diagram berikut menunjukkan langkah-langkah dalam alur kerja Batch umum, dengan aplikasi klien atau layanan yang dihosting menggunakan Batch untuk menjalankan beban kerja paralel.
| Langkah | Deskripsi |
|---|---|
| 1. Unggah input filedan aplikasi untuk memproses file tersebut ke akun Azure Storage Anda. | File input dapat menjadi data apa pun yang proses aplikasi Anda, seperti data pemodelan keuangan, atau file video yang akan ditranskodekan. File aplikasi dapat mencakup skrip atau aplikasi yang memproses data, seperti transcoder media. |
| 2. Buat kumpulan Batch node komputasi di akun Batch Anda, pekerjaan untuk menjalankan beban kerja pada kumpulan, dan tugas dalam pekerjaan. | Simpul komputasi merupakan komputer virtual yang menjalankan tugas Anda. Tentukan properti untuk kumpulan Anda, seperti jumlah dan ukuran simpul, gambar komputer virtual Windows atau Linux, dan aplikasi untuk diinstal ketika simpul bergabung dengan kumpulan. Kelola biaya dan ukuran kumpulan dengan menggunakan mesin virtual Azure Spot atau dengan menskalakan secara otomatis jumlah node saat beban kerja berubah. Saat Anda menambahkan tugas ke pekerjaan, layanan Batch secara otomatis menjadwalkan tugas untuk eksekusi pada simpul komputasi di dalam kumpulan. Setiap tugas menggunakan aplikasi yang Anda unggah untuk memproses file input. |
| 3. Unduh input file dan aplikasi ke Batch | Sebelum setiap tugas dijalankan, tugas dapat mengunduh data input yang akan diproses ke simpul yang ditetapkan. Jika aplikasi belum diinstal pada simpul kumpulan, aplikasi dapat diunduh di sini sebagai gantinya. Ketika unduhan dari Azure Storage selesai, tugas dijalankan pada simpul yang ditetapkan. |
| 4. Pantau eksekusi tugas | Saat tugas berjalan, kueri Batch untuk memantau kemajuan pekerjaan dan tugasnya. Aplikasi atau layanan klien Anda berkomunikasi dengan layanan Batch melalui HTTPS. Karena Anda mungkin memantau ribuan tugas yang berjalan pada ribuan simpul komputasi, pastikan untuk meminta kueri Batch secara efisien. |
| 5. Unggah output tugas | Saat tugas selesai, tugas dapat mengunggah data hasilnya ke Azure Storage. Anda juga dapat mengambil file langsung dari sistem file pada simpul komputasi. |
| 6. Unduh file output | Ketika pemantauan Anda mendeteksi bahwa tugas dalam pekerjaan Anda telah selesai, aplikasi atau layanan klien Anda dapat mengunduh data output untuk pemrosesan lebih lanjut. |
Perlu diingat bahwa alur kerja yang dijelaskan di atas hanyalah salah satu cara untuk menggunakan Batch, dan ada banyak fitur dan opsi lainnya. Misalnya, Anda dapat menjalankan beberapa tugas secara paralel pada setiap simpul komputasi. Atau Anda dapat menggunakan persiapan pekerjaan dan tugas penyelesaian untuk menyiapkan simpul untuk pekerjaan Anda, lalu membersihkan setelahnya.
LihatAlur kerja dan sumber daya layanan Batchuntuk gambaran umum fitur seperti kumpulan, simpul, pekerjaan, dan tugas. Lihat juga pembaruanLayanan Batch terbaru.
Residensi data dalam wilayah
Azure Batch tidak memindahkan atau menyimpan data pelanggan keluar dari wilayah tempat data tersebut digunakan.
Langkah berikutnya
Mulai menggunakan Azure Batch dengan salah satu mulai cepat ini: