Artikel ini memberikan gambaran umum teknis penggunaan Microsoft Azure untuk mendukung dan meningkatkan komputasi kisi risiko di perbankan. Artikel ini mengeksplorasi sistem yang direkomendasikan dan arsitektur tingkat tinggi.
Dokumen ini ditujukan untuk Arsitek Solusi, dan dalam beberapa kasus, Pembuat Keputusan Teknis, yang menginginkan penyelaman mendalam tentang solusi yang diusulkan untuk komputasi risiko.
Pengantar
Model analisis risiko keuangan biasanya diproses sebagai pekerjaan batch. Mereka memiliki beban komputasi berat yang menghasilkan permintaan tinggi untuk daya komputasi, akses data, dan analisis. Permintaan untuk perhitungan komputasi kisi risiko sering tumbuh dari waktu ke waktu, dan kebutuhan akan sumber daya komputasi meningkat dengannya.
Berbagai produk dan layanan yang tersedia di Azure berarti mungkin ada lebih dari satu solusi untuk sebagian besar masalah. Artikel ini memberikan gambaran umum tentang teknologi, pola, dan praktik yang paling efektif untuk solusi komputasi kisi risiko dalam perbankan yang menggunakan Microsoft Azure Batch.
Azure Batch adalah layanan gratis yang menyediakan solusi hemat biaya dan aman. Solusinya adalah untuk infrastruktur dan berbagai tahap pemrosesan batch yang biasanya digunakan dengan model komputasi kisi risiko. Azure Batch dapat menambah, memperluas, atau bahkan mengganti investasi sumber daya komputasi lokal saat ini menggunakan jaringan hibrid atau dengan memindahkan seluruh proses Batch ke Azure. Data dapat melintasi ke atas dan ke bawah dari cloud atau tetap lokal. Data lain dapat diproses oleh simpul komputasi dalam model burst-to-cloud, ketika sumber daya lokal hampir habis.
Anatomi eksekusi Azure Batch
Biasanya ada setidaknya dua aplikasi yang terlibat dalam eksekusi Batch. Satu aplikasi, biasanya berjalan pada "head node," mengirimkan pekerjaan ke kumpulan dan terkadang mengatur simpul komputasi. Orkestrasi juga dapat dikonfigurasi melalui portal Azure. Aplikasi lain dijalankan oleh simpul komputasi sebagai tugas (lihat Gambar 1).
Aplikasi simpul komputasi melakukan tugas pemrosesan paralel file pemodelan risiko. Mungkin ada lebih dari satu aplikasi yang diinstal dan berjalan pada simpul komputasi.
Aplikasi ini dapat diunggah melalui API Batch, langsung melalui portal Azure, atau melalui perintah Azure CLI untuk Batch.
Gambar 1: Komputasi kisi Azure Batch
Eksekusi Azure Batch terdiri dari beberapa elemen logis. Gambar 2 menunjukkan model logis dari pekerjaan batch. Kumpulan adalah kontainer untuk VM yang terlibat dalam eksekusi Batch dan menyediakan VM simpul komputasi. Kumpulan juga merupakan kontainer untuk aplikasi yang diinstal pada simpul komputasi. Pekerjaan dibuat dan dijalankan di dalam kumpulan. Tugas dijalankan oleh pekerjaan. Tugas adalah menjalankan aplikasi pekerja dan dipanggil oleh instruksi baris perintah.
Aplikasi pekerja diinstal ke simpul komputasi saat dibuat.
Gambar 2: Model konsep batch logis
Ketika pekerjaan dijalankan, kumpulan menyediakan VM pekerja apa pun yang diperlukan dan menginstal aplikasi pekerja. Pekerjaan menetapkan tugas ke simpul komputasi tersebut, yang pada gilirannya menjalankan instruksi baris perintah (CLI). Skrip CLI biasanya memanggil aplikasi atau skrip yang diinstal.
Menggunakan Batch biasanya mengikuti pola prototipikal, yang dijelaskan sebagai berikut:
- Buat grup sumber daya untuk berisi aset Batch.
- Dalam grup sumber daya, buat akun Batch.
- Buat akun penyimpanan tertaut.
- Buat kumpulan tempat Anda dapat memprovisikan VM pekerja.
- Unggah aplikasi atau skrip simpul komputasi ke kumpulan.
- Buat pekerjaan untuk menetapkan tugas ke VM di kumpulan.
- Tambahkan pekerjaan ke kumpulan.
- Mulai eksekusi Batch.
- Pekerjaan mengantre tugas untuk dijalankan pada simpul komputasi.
- Simpul komputasi menjalankan tugas saat VM tersedia.
Ilustrasi proses ini ditunjukkan pada Gambar 3.
Gambar 3: Model konsep batch logis
Setelah tugas selesai, dapat berguna untuk menghapus simpul komputasi untuk tidak dikenakan biaya saat tidak digunakan. Untuk menghapusnya, melalui kode atau portal, seseorang dapat menghapus kumpulan yang berisi, yang akan menghapus VM pekerja.
Untuk panduan yang lebih rinci tentang cara memulai dengan Batch, Mulai Cepat 5 menit membawa Anda melalui proses dalam beberapa bahasa, dan juga menunjukkan kepada Anda cara menggunakan portal Azure.
Penjadwalan proses batch
Azure Batch memiliki penjadwal bawaan sehingga penjadwalan setiap eksekusi dapat ditentukan di portal atau melalui API. Penjadwal pekerjaan Batch dapat menentukan beberapa jadwal untuk mengaktifkan beberapa pekerjaan. Setiap pekerjaan memiliki propertinya sendiri seperti apa yang harus dilakukan ketika pekerjaan dimulai dan berakhir. Jadwal pekerjaan dapat diatur pada interval berulang atau untuk eksekusi satu kali.
Banyak sistem komputasi kisi bank sudah memiliki layanan penjadwalan mereka sendiri. Mungkin tidak ada kebutuhan langsung untuk memindahkan penjadwal saya ke Azure. Ini dapat bekerja dengan mulus karena Azure Batch dapat dipanggil secara manual atau melalui SDK. Kemampuan ini memungkinkan penjadwalan masih terjadi secara lokal, dan memungkinkan beban kerja diproses di Azure.
Pemrosesan batch dapat terjadi pada jadwal yang telah ditentukan atau sesuai permintaan. Dalam kedua kasus, tidak perlu menjaga VM simpul komputasi tetap hidup saat tidak digunakan. Saat menggunakan ratusan, jika bukan ribuan, dari simpul komputasi VM, penghematan biaya yang signifikan dapat diwujudkan, dengan mendeprovisi server ketika mereka selesai menjalankan tugas antrean mereka.
Aplikasi simpul komputasi
Simpul komputasi memerlukan aplikasi untuk dijalankan saat tugas dipanggil. Aplikasi ini ditulis oleh bisnis untuk melakukan pekerjaan pemrosesan saat diinstal pada pekerja. Dalam komputasi kisi risiko untuk skenario perbankan, aplikasi ini sering mengambil pekerjaan mengubah data menjadi format terutama cocok untuk analitik hilir atau pemrosesan lainnya.
Saat menyediakan aplikasi ke kumpulan untuk distribusi ke simpul komputasi, aplikasi diunggah dalam paket aplikasi. Paket aplikasi mungkin merupakan versi lain dari paket aplikasi yang diunggah sebelumnya. Lebih dari satu paket aplikasi dapat diinstal ke satu simpul komputasi. Pekerjaan ini berisi paket aplikasi untuk dimuat ke komputer pekerja.
Penyebaran paket aplikasi juga dapat dikelola oleh versi. Jika beberapa versi paket aplikasi telah dimuat ke dalam kumpulan, versi tertentu dapat ditunjuk untuk digunakan dalam eksekusi Batch seperti yang ditunjukkan pada Gambar 4. Ini mungkin diperlukan di lingkungan audit atau ketika bisnis ingin mereproduksi eksekusi sebelumnya. Ini juga dapat digunakan untuk tujuan roll-back jika bug diperkenalkan ke aplikasi pekerja.
Gambar 4: Penerapan versi aplikasi tugas simpul komputasi
Paket aplikasi diunggah ke kumpulan sebagai file .zip. File berisi biner aplikasi dan file pendukung yang diperlukan untuk tugas untuk menjalankan aplikasi. Ada dua cakupan untuk paket aplikasi. Anda dapat menunjuk paket aplikasi dalam cakupan kumpulan, atau dalam cakupan tugas.
Paket aplikasi kumpulan
Paket-paket ini disebarkan ke setiap simpul komputasi di kumpulan. Ketika VM simpul komputasi disediakan, di-boot ulang, atau digambarkan ulang, salinan baru dari paket aplikasi kumpulan apa pun diinstal, jika ada aplikasi yang diperbarui. Satu atau beberapa paket aplikasi dapat ditetapkan ke kumpulan, yang berarti simpul komputasi akan mendapatkan semua paket yang ditunjuk.
Paket aplikasi tugas
Paket aplikasi yang menargetkan tingkat tugas hanya diinstal ke simpul komputasi yang dijadwalkan untuk menjalankan tugas. Paket aplikasi tugas dimaksudkan untuk digunakan ketika lebih dari satu pekerjaan dijalankan dalam satu kumpulan.
Aplikasi tugas berguna saat menggabungkan data yang dihasilkan oleh pekerjaan tingkat kumpulan. Aplikasi ini dapat relevan dalam skenario komputasi kisi risiko. Misalnya, aplikasi tugas dapat menjalankan serangkaian perhitungan risiko yang menghasilkan data yang akan digunakan nanti dalam alur kerja perhitungan risiko.
Menskalakan pekerjaan batch
Bank sering melakukan batch analisis risiko yang berjalan selama akhir pekan atau pada malam hari ketika sumber daya komputasi kurang digunakan. Meskipun model ini berfungsi untuk beberapa orang, model ini dapat dengan cepat ditumbuhi, membutuhkan lebih banyak modal untuk menambahkan lebih banyak mesin pekerja ke kisi.
Jika pekerjaan Azure Batch membutuhkan waktu terlalu lama untuk dijalankan, atau jika Anda menginginkan lebih banyak daya komputasi dalam eksekusi Batch Anda, Azure menawarkan beberapa opsi.
- Alokasikan lebih banyak komputer simpul komputasi untuk meluaskan skala.
- Alokasikan komputer simpul komputasi yang lebih kuat untuk meningkatkan skala. Komputer Azure dapat disediakan untuk memenuhi kebutuhan performa tinggi untuk inti dan memori, dan bahkan daya komputasi GPU.
Catatan: Menggunakan Microsoft HPC Pack dengan Batch adalah model yang lebih kompleks dan tidak dibahas dalam artikel ini.
Dalam kluster pemrosesan Batch, Anda mungkin memiliki dua VM pemrosesan. Atau Anda bisa memiliki ribuan tugas simultan yang berjalan pada ribuan simpul komputasi VM, dengan puluhan ribu inti. Setiap VM bertanggung jawab untuk menjalankan satu tugas pada satu waktu. Jumlah VM dalam kumpulan dapat diskalakan secara manual atau otomatis, seperti yang dikonfigurasi saat beban meningkat atau berkurang.
Burst ke cloud
Ketika sumber daya komputasi di kisi lokal hampir habis karena menjalankan pekerjaan analisis besar, "burst to cloud" menawarkan cara untuk menambah sumber daya tersebut dengan menambahkan lebih banyak simpul komputasi di Azure. Burst to cloud adalah model di mana cloud atau infrastruktur privat mendistribusikan beban kerja mereka ke server cloud, ketika permintaan tinggi untuk sumber daya lokal.
Simpul komputasi ini dapat dikonfigurasi sebelumnya sebagai komputer virtual Linux atau Windows untuk disediakan di platform IaaS Azure. Selanjutnya, server dapat disediakan dan dikonfigurasi secara otomatis untuk bekerja dengan investasi yang ada seperti Tibco Gridserver dan IBM Symphony.
Rumus penskalaan otomatis
Elastisitas ini dapat dikonfigurasi dalam portal Azure atau dengan menggunakan rumus penskalaan otomatis. Rumus penskalaan otomatis adalah skrip yang diunggah ke penjadwal pemrosesan Batch untuk kontrol perilaku Batch yang terperinci. Penskalaan otomatis pada kumpulan simpul komputasi dilakukan dengan mengaitkan simpul dengan rumus skala otomatis.
Contoh berikut adalah rumus penskalaan otomatis yang mengarahkan penskalaan otomatis untuk memulai dengan satu VM dan meningkatkan hingga 50 VM sesuai kebutuhan. Setelah tugas selesai, VM menjadi bebas satu per satu dan rumus penskalaan otomatis menyusutkan kumpulan.
startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);
Teknik penskalaan lainnya
Penskalakan otomatis juga dapat diaktifkan oleh cmdlet PowerShell Enable-AzureBatchAutoScale. Cmdlet Enable-AzureBatchAutoScale memungkinkan penskalaan otomatis kumpulan yang ditentukan. Contohnya adalah sebagai berikut.
- Perintah pertama menentukan rumus, lalu menyimpannya ke
$Formulavariabel. - Perintah kedua memungkinkan penskalaan otomatis pada kumpulan bernama
RiskGridPoolmenggunakan rumus di$Formula.
C:\> $Formula = ‘startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second?WT.mc_id=gridbanksg-docs-dastarr);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);’;
C:\> Enable-AzureBatchAutoScale -Id "RiskGridPool" -AutoScaleFormula $Formula -BatchContext $Context
Penskalakan juga dapat dilakukan menggunakan Azure CLI dengan az batch pool resize perintah dan melalui portal Azure.
Penyimpanan dan retensi data
Setelah data diserap dan diproses oleh simpul komputasi, data output yang dihasilkan dapat disimpan dalam database. Data output dapat diproses lebih lanjut dan dianalisis atau diubah setelah penyerapan, sebelum penyimpanan, untuk memastikan format yang tepat untuk pemrosesan hilir. Microsoft Azure menawarkan beberapa opsi penyimpanan. Pilihan teknologi penyimpanan data mana yang akan digunakan sangat tergantung pada kebutuhan analisis dan atau pelaporan dalam proses hilir.
Saat menggunakan jaringan hibrid, target penyimpanan data mungkin lokal. Saat menggunakan Batch melalui jaringan hibrid, simpul komputasi dapat menulis data kembali ke penyimpanan data lokal tanpa menggunakan lokasi penyimpanan berbasis Azure. Pekerja juga dapat menulis ke penyimpanan File Azure, yang dapat dipasang sebagai disk pada komputer lokal. Penyiapan ini memungkinkan akses mudah oleh proses apa pun yang berfungsi dengan file lokal.
Pemantauan dan pengelogan
Untuk mengoptimalkan eksekusi pekerjaan Batch di masa mendatang, data harus direkam untuk membantu mengidentifikasi area pengoptimalan. Misalnya, jika pekerja berjalan di dekat kapasitas CPU, menambahkan inti ke simpul komputasi dapat membantu menghindari terikat CPU dan pekerjaan dapat selesai lebih cepat. Setiap aplikasi yang dijalankan dalam pekerjaan Batch memiliki karakteristiknya sendiri dan pengoptimalan yang dibuat ke VM dalam eksekusi Batch mungkin berbeda. Untuk tugas intensif memori, lebih banyak memori dapat dialokasikan dengan mengonfigurasi komputer secara berbeda dalam eksekusi berikutnya.
Pengelogan dapat dilakukan oleh aplikasi simpul komputasi dan kepala kisi atau dengan pekerjaan menggunakan pengelogan diagnostik Batch. Informasi pengelogan tentang performa eksekusi Batch dapat dikonfigurasi untuk membantu mengidentifikasi area mana yang akan ditingkatkan demi performa yang lebih baik dan penyelesaian tugas yang lebih cepat.
Pemantauan dan pengelogan Batch Kustom
Aplikasi pengontrol dan aplikasi simpul komputasi dapat menghasilkan data ini dan menyimpannya untuk analisis lebih lanjut. Data yang ditemukan berguna dalam mengoptimalkan pekerjaan Batch meliputi:
- Waktu mulai dan berakhir untuk setiap tugas
- Waktu setiap simpul komputasi masih hidup dan menjalankan tugas
- Waktu setiap simpul komputasi hidup dan tidak menjalankan tugas
- Durasi pekerjaan batch keseluruhan
Pengelogan diagnostik batch
Ada alternatif untuk menggunakan pengontrol dan aplikasi simpul komputasi untuk memancarkan data instrumentasi. Pengelogan diagnostik batch dapat mengambil banyak data yang dijalankan. Pengelogan Diagnostik Batch tidak diaktifkan secara default dan harus diaktifkan untuk akun Batch.
Pengelogan diagnostik batch menyediakan sejumlah besar data yang membantu dalam masalah pemotretan dan pengoptimalan eksekusi Batch. Waktu mulai dan berakhir untuk pekerjaan dan tugas, jumlah inti, jumlah simpul total, dan banyak metrik lainnya.
Pengelogan batch memerlukan tujuan penyimpanan untuk log yang dipancarkan, menyimpan peristiwa yang dihasilkan oleh eksekusi Batch seperti pembuatan kumpulan, eksekusi pekerjaan, eksekusi tugas, dan sebagainya. Selain menyimpan peristiwa log diagnostik di akun Azure Storage, peristiwa log layanan Batch dapat dialirkan ke instans Azure Event Hubs. Peristiwa kemudian dapat dikirim ke Azure Log Analytics.
Menggunakan data ini, komputasi inti dan aplikasi simpul kepala dapat dioptimalkan. Ini dapat menurunkan biaya, karena hal-hal seperti deprovisi VM pekerja yang lebih cepat, ketika mereka tidak lagi diperlukan, daripada menunggu akhir eksekusi Batch selesai.
Alat manajemen batch
portal Azure menyediakan dasbor pemantauan Batch yang menampilkan informasi tentang Batch saat pekerjaan berjalan dan bahkan penggunaan kuota akun. Ini cukup untuk banyak aplikasi pekerjaan Batch.
Selain alat manajemen dan visualisasi Batch yang tersedia di portal Azure, ada alat sumber terbuka gratis, Batch Explorer, untuk mengelola Batch. Ini adalah alat klien mandiri untuk membantu membuat, men-debug, dan memantau aplikasi Azure Batch. Unduh paket penginstalan untuk Mac, Linux, atau Windows.
Model jaringan
Analisis risiko sering membutuhkan ratusan, jika tidak ribuan, dokumen yang akan diserap ke dalam proses komputasi kisi risiko. File-file ini sering terletak di tempat di penyimpanan file, berbagi jaringan, atau repositori lainnya. Saat menggunakan VM berbasis Azure untuk mengakses dan memproses file tersebut, seringkali berguna bagi jaringan lokal untuk terhubung dengan mulus ke jaringan Azure, sehingga akses file sederhana dan cepat. Pendekatan ini bahkan dapat berarti tidak ada perubahan kode yang diperlukan untuk kode yang melakukan pemrosesan pada simpul komputasi.
Azure menawarkan dua model untuk menghubungkan sistem lokal saat ini dengan aman dan andal ke Azure, Microsoft Azure ExpressRoute , dan VPN Gateway. Keduanya menawarkan konektivitas yang andal yang aman, meskipun ada perbedaan dalam implementasi, performa, dan atribut lainnya.
Atau, simpul kepala komputasi kisi risiko dapat hidup secara lokal dan menjalankan pekerjaan Batch melalui REST API atau SDK dalam .NET dan bahasa lainnya.
Ada teknik lain untuk menjeda kesenjangan antara Azure dan sumber daya lokal tanpa solusi jaringan hibrid. Informasi lebih lanjut tentang ini disediakan di bawah ini.
ExpressRoute
ExpressRoute mengikat jaringan lokal atau pusat data Anda ke Azure melalui koneksi privat yang difasilitasi oleh mitra konektivitas, seperti Penyedia Layanan Internet Anda saat ini. Ini memungkinkan kedua jaringan untuk saling melihat sebagai instans jaringan yang sama, menyediakan akses tanpa hambatan antar jaringan. Integrasi jaringan sangat penting ketika Anda ingin mengintegrasikan sistem lokal yang ada dengan jaringan Azure, dan ExpressRoute menawarkan kecepatan koneksi tercepat.
Informasi harga tambahan untuk Azure ExpressRoute dapat ditemukan di sini.
VPN Gateway
VPN Gateway adalah cara lain untuk menyambungkan jaringan Anda ke Azure. Kelemahan dari model ini adalah arus lalu lintas melalui Internet. Koneksi bisa kurang tangguh akibatnya dan kecepatan jaringan tidak dapat menjangkau koneksi ExpressRoute, namun ini mungkin bukan penghalang untuk skenario komputasi kisi risiko karena membaca file data biasanya merupakan operasi yang cepat.
Informasi harga tambahan untuk VPN Gateway dapat ditemukan di sini.
Pilihan untuk detail konektivitas
Pada dasarnya ada dua model untuk memperluas jaringan Anda ke Azure, seperti yang ditunjukkan pada Gambar 5.
- Gateway virtual – situs-ke-situs
- ExpressRoute – Penyedia Exchange atau ISP
Gambar 5: Situs-ke-Situs dan ExpressRoute
Integrasi situs-ke-situs gateway virtual
VPN Gateway Situs-ke-Situs menyambungkan jaringan lokal Anda ke Azure VNet. Ini menjenjangkan kesenjangan antara jaringan pada dasarnya menjadikannya bagian dari jaringan yang sama, dengan akses dua arah ke sumber daya, server, dan artefak. Ini memungkinkan akses langsung ke file data dari VM pekerja Azure yang menjalankan pekerjaan batch komputasi kisi risiko.
Integrasi ExpressRoute
Koneksi ExpressRoute yang difasilitasi oleh penyedia jaringan mitra Azure mewujudkan manfaat yang sama dengan koneksi Situs-ke-Situs, tetapi dengan kecepatan dan keandalan yang lebih tinggi.
Dapatkan informasi selengkapnya tentang model konektivitas ExpressRoute.
Pemrosesan batch tanpa jaringan hibrid Azure
Skenario Batch lainnya adalah mengunggah semua file data ke penyimpanan Azure untuk diproses nanti oleh komputer komputasi berbasis Azure. Penyimpanan file dan penyimpanan Blob kemungkinan adalah kandidat untuk menyimpan data komputasi kisi risiko.
Dalam skenario ini, pengontrol pekerjaan dan semua simpul komputasi tinggal di Azure seperti yang ditunjukkan pada Gambar 6. Tujuan yang kemungkinan untuk data yang diproses adalah penyimpanan data Azure, sebagai persiapan untuk pemrosesan lebih lanjut oleh solusi Azure Pembelajaran Mesin atau sistem lainnya. Pemrosesan tambahan ini berada di luar cakupan artikel ini.
Gambar 6: Pengunggahan batch ke siklus hidup eksekusi
Sumber daya konektivitas jaringan hibrid
Beberapa konfigurasi mungkin berlaku dalam situasi Anda. Untuk membantu keputusan dan panduan arsitektur mengenai menghubungkan konektivitas jaringan ke Azure, lihat artikel Koneksi jaringan lokal ke Azure oleh grup pola & praktik.
- Lihat artikel ini untuk alternatif konfigurasi VPN Gateway.
- Pelajari tentang model konektivitas ExpressRoute.
- Hitung harga ExpressRoute.
- Hitung harga VPN Gateway.
Pertimbangan keamanan
Jaringan virtual Azure (VNet) dapat dibuat dan simpul komputasi kumpulan dibuat di dalamnya. Ini menyediakan tingkat isolasi tambahan untuk eksekusi Batch dan memungkinkan autentikasi menggunakan ID Microsoft Entra. Untuk informasi selengkapnya, lihat Konfigurasi jaringan kumpulan.
Ada dua cara untuk mengautentikasi aplikasi Batch menggunakan ID Microsoft Entra:
Autentikasi terintegrasi. Aplikasi batch yang menggunakan akun Microsoft Entra dapat menggunakan akun untuk mendapatkan sumber daya ke penyimpanan data dan sumber daya lainnya.
Perwakilan layanan. Perwakilan layanan Microsoft Entra menentukan kebijakan akses dan izin untuk pengguna dan aplikasi. Perwakilan layanan menyediakan autentikasi kepada pengguna menggunakan kunci rahasia yang terkait dengan aplikasi tersebut. Ini memungkinkan autentikasi aplikasi tanpa pengawas dengan kunci rahasia. Perwakilan layanan menentukan kebijakan dan izin bagi aplikasi untuk mewakili aplikasi saat mengakses sumber daya saat runtime. Pelajari selengkapnya di sini.
Untuk informasi selengkapnya tentang keamanan dalam pemrosesan batch dengan MICROSOFT Entra ID, lihat artikel ini.
Layanan Batch juga dapat mengautentikasi dengan kunci bersama. Layanan autentikasi memerlukan dua nilai header untuk ditambahkan ke permintaan HTTP, data, dan otorisasi. Lihat di sini untuk informasi selengkapnya tentang autentikasi kunci bersama.
Pengoptimalan biaya
Tidak ada biaya untuk menggunakan Azure Batch. Anda hanya membayar sumber daya yang mendasari yang digunakan, seperti waktu aktif komputer virtual, penyimpanan, dan jaringan. Namun, VM simpul komputasi masih membutuhkan biaya ketika duduk diam, jadi ada baiknya untuk mendeprovisi mesin ketika mereka tidak lagi diperlukan. Ini sering dilakukan dengan menghapus kumpulan yang berisinya.
Saat membuat kumpulan, Anda dapat menentukan jenis simpul komputasi mana yang Anda inginkan dan jumlah masing-masing. Dua jenis simpul komputasi adalah sebagai berikut:
Simpul komputasi khusus dicadangkan untuk beban kerja Anda. Harganya lebih mahal daripada simpul berprioritas rendah, tetapi dijamin tidak akan pernah didahului.
Simpul komputasi berprioritas rendah memanfaatkan kapasitas surplus di Azure untuk menjalankan beban kerja Batch. Simpul berprioritas rendah lebih murah per jam daripada simpul khusus, dan memungkinkan beban kerja yang membutuhkan banyak daya komputasi. Untuk informasi selengkapnya, lihat Menggunakan VM berprioritas rendah dengan Batch.
Node khusus dan berprioritas rendah mungkin ada di kumpulan yang sama.
Untuk informasi harga untuk simpul komputasi berprioritas rendah dan khusus, lihat Harga Batch.
Saat menggunakan layanan Pengelogan Diagnostik Batch, data yang dikeluarkan ke penyimpanan Azure dikenakan biaya. Ini adalah data penyimpanan seperti data lain, dan harga terpengaruh oleh jumlah data diagnostik yang disimpan.
Memulai
Meskipun ada banyak tempat untuk memulai dengan domain yang kompleks seperti komputasi Batch untuk komputasi kisi risiko, berikut adalah beberapa titik awal logis untuk lebih memahami teknologi Batch.
Dokumentasi Azure Batch adalah tempat yang bagus untuk memulai. Dokumentasi ini mencakup contoh portal, referensi API, dan tutorial langkah demi langkah dengan contoh kode. Aplikasi sampel Azure Batch juga tersedia secara bebas di GitHub.
Di bawah ini adalah beberapa tutorial cepat untuk membantu Anda membangun aplikasi sederhana untuk membuat dan menjalankan pekerjaan komputasi batch. Opsi untuk membangun aplikasi adalah sebagai berikut:
- Batch .NET API
- Batch SDK untuk Python
- Batch SDK untuk Node.js
- Manajemen batch dengan PowerShell
- Manajemen batch dengan Azure CLI
Pertimbangkan untuk meluncurkan inisiatif bukti konsep. Apa pendekatan Anda untuk penyerapan data ke Azure? Apakah Anda akan menggunakan jaringan hibrid atau mengunggah data melalui antarmuka SDK atau REST? Jika Anda mempertimbangkan jaringan hibrid, pertimbangkan untuk meluncurkan pilot untuk menempatkan ini.
Evaluasi ukuran pekerjaan komputasi Batch Anda, lalu pilih solusi penskalaan yang tepat. Rumus penskalaan otomatis memungkinkan skenario penjadwalan yang kompleks, sementara skenario yang lebih sederhana dapat dicapai dengan menggunakan portal Azure.
Komponen
Azure Batch menyediakan kemampuan untuk menjalankan pekerjaan pemrosesan paralel skala besar di cloud.
MICROSOFT Entra ID adalah layanan manajemen identitas dan direktori berbasis cloud multi-penyewa yang menggabungkan layanan direktori inti, manajemen akses aplikasi, dan perlindungan identitas ke dalam satu solusi.
Rumus penskalaan otomatis adalah skrip yang diunggah ke penjadwal pemrosesan batch untuk kontrol perilaku penskalaan Batch yang halus.
Pengelogan Diagnostik Batch adalah fitur Azure Batch yang memungkinkan pembuatan log terperinci dari eksekusi Batch Anda dan peristiwa yang dihasilkan. Log disimpan di Azure Storage.
Batch Explorer adalah aplikasi mandiri untuk pemantauan dan manajemen Batch yang tersedia Windows, macOS, dan Linux.
ExpressRoute adalah solusi jaringan hibrid berkecepatan tinggi dan keandalan untuk bergabung dengan jaringan lokal dan Azure.
Azure VPN Gateway adalah solusi jaringan hibrid menggunakan Internet untuk bergabung dengan jaringan lokal dan Azure.
Kesimpulan
Dokumen ini memberikan gambaran umum solusi dan pertimbangan teknis saat menggunakan Azure Batch untuk komputasi kisi risiko untuk perbankan. Artikel ini membahas banyak hal mulai dari definisi Azure Batch hingga opsi jaringan, dan bahkan pertimbangan biaya.
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- David Starr | Arsitek Solusi Utama
Langkah berikutnya
Saat mempertimbangkan untuk maju dalam mengevaluasi Azure Batch untuk komputasi kisi risiko, halaman ini adalah sumber daya yang baik untuk memulai. Ini menyediakan contoh tutorial terpandu untuk pemrosesan file paralel, yang melekat dalam komputasi kisi risiko. Tutorial disediakan menggunakan Portal Microsoft Azure, Azure CLI, .NET, dan Python.
Dokumentasi produk:
- Apa yang dimaksud dengan Azure Batch?
- Apa itu ID Microsoft Entra?
- Apa itu Azure ExpressRoute?
- Apa itu VPN Gateway?