Penyimpanan untuk HPC di sektor keuangan

  • Artikel

Artikel ini memberikan rekomendasi untuk menerapkan penyimpanan di lingkungan HPC untuk sektor keuangan. Beban kerja HPC skala besar di lingkungan keuangan menciptakan tuntutan untuk penyimpanan data dan akses yang melebihi kemampuan sistem file cloud tradisional.

Pertimbangan Desain

Untuk memutuskan solusi penyimpanan mana yang akan digunakan, Anda perlu mempertimbangkan persyaratan aplikasi berikut.

  • Latensi
  • IOPS
  • Throughput
  • Ukuran dan angka file
  • Runtime pekerjaan
  • Biaya terkait
  • Afinitas untuk lokasi penyimpanan: lokal versus Azure

Rekomendasi desain

  • Gunakan Azure Blob Storage Standar atau Premium untuk penyimpanan dengan throughput tinggi dan latensi rendah. Ini menawarkan manfaat ini:

    • Ini menyediakan akses skala exabyte, throughput tinggi, latensi rendah jika diperlukan, sistem file yang familier, dan akses multi-protokol (REST, HDFS, NFS).
    • Ini hemat biaya.
    • Anda dapat memasang Blob Storage sebagai sistem file dengan menggunakan BlobFuse. Melakukannya memudahkan untuk memungkinkan beberapa simpul memasang kontainer yang sama untuk skenario baca-saja.
    • Ini mendukung NFS 3.0 di titik akhir layanan blob untuk beban kerja dengan throughput tinggi dan berat baca.
    • Anda dapat mengoptimalkan biaya dengan memindahkan data ke tingkat yang lebih dingin melalui kemampuan untuk melakukan manajemen siklus hidup dengan pembaruan terakhir/tingkatan cerdas waktu akses, dengan kebijakan yang dapat disesuaikan.

  • Gunakan Azure NetApp Files untuk ReadWriteMany (unik) atau aplikasi baca-sekali, baca-sekali. Ini memberikan manfaat berikut:

    • Berbagai pilihan protokol file (NFSv3, NFSv4.1, SMB3).
    • Performa yang sebanding dengan performa lokal, dengan beberapa tingkatan (Ultra, Premium, Standar).
    • Menyebarkan dalam hitungan menit dan menawarkan berbagai tingkatan dan fleksibilitas.
    • Jenis dan performa kumpulan kapasitas yang fleksibel, di mana QoS per volume secara otomatis ditetapkan berdasarkan tingkat kumpulan dan kuota volume.

Tabel berikut ini menyediakan perbandingan Blob Storage, Azure Files, Azure Managed Lustre, dan Azure NetApp Files.

Penyimpanan Blob Azure Files Azure Managed Lustre Azure NetApp Files
Kasus penggunaan Paling cocok untuk beban kerja akses berurutan baca-berat skala besar di mana data diserap sekali dan dimodifikasi minimal.

Total biaya kepemilikan yang rendah, jika ada pemeliharaan ringan.		 Layanan yang sangat tersedia yang paling cocok untuk beban kerja akses acak.

Untuk berbagi NFS, Azure Files menyediakan dukungan sistem file POSIX penuh. Driver CSI bawaan memungkinkan Anda untuk dengan mudah menggunakannya dari platform kontainer seperti Azure Container Instances dan Azure Kubernetes Service (AKS), selain platform berbasis VM.		 Azure Managed Lustre adalah sistem file paralel yang dikelola sepenuhnya yang paling cocok untuk beban kerja HPC menengah hingga besar.

Memungkinkan aplikasi HPC di cloud tanpa merusak kompatibilitas aplikasi dengan menyediakan fungsionalitas, perilaku, dan performa sistem file paralel Lustre yang familier, mengamankan investasi aplikasi jangka panjang.		 Layanan file yang dikelola sepenuhnya di cloud, didukung oleh NetApp, dengan kemampuan manajemen tingkat lanjut.

Azure NetApp Files cocok untuk beban kerja yang memerlukan akses acak. Ini memberikan dukungan protokol yang luas dan perlindungan data yang ditingkatkan.
Protokol yang tersedia NFS 3.0

SISANYA

Azure Data Lake Storage		 SMB

NFS 4.1

(Tidak ada interoperabilitas antara salah satu protokol.)		 Lustre NFS 3.0 dan 4.1

SMB


Fitur utama Terintegrasi dengan Azure HPC Cache untuk beban kerja latensi rendah.

Manajemen terintegrasi, termasuk manajemen siklus hidup, blob yang tidak dapat diubah, failover data, dan indeks metadata.		 Redundan secara zona untuk ketersediaan tinggi.

Latensi milidetik satu digit yang konsisten.

Performa yang dapat diprediksi dan biaya yang disesuaikan dengan kapasitas.		 Kapasitas penyimpanan tinggi hingga 2,5PB.

Latensi rendah (~2ms).

Putar kluster baru dalam beberapa menit.

Mendukung beban kerja dalam kontainer dengan AKS.		 Latensi yang sangat rendah (serendah sub-milidetik).

Kemampuan manajemen NETApp ONTAP yang kaya, seperti SnapMirror Cloud.

Pengalaman cloud hibrid yang konsisten.
Performa (per volume) Sebanyak 20.000 IOPS. Sebanyak 100 GiB/dtk throughput. Sebanyak 100.000 IOPS. Sebanyak 80 GiB/dtk throughput. Sebanyak 100.000 IOPS, hingga throughput 500 GiB/dtk. Sebanyak 460.000 IOPS. Sebanyak 36 GiB/dtk throughput.
Sisik Sebanyak 2 PiB untuk satu volume.

Sebanyak ~4,75 TiB untuk satu file.

Tidak ada persyaratan kapasitas minimal.		 Sebanyak 100 TiB untuk satu volume.

Sebanyak 4 TiB untuk satu file.

Kapasitas minimum 100 GiB.		 Sebanyak 2,5 PiB untuk satu volume.

Sebanyak 32 PB untuk satu file.

Kapasitas minimum 4 TiB.		 Sebanyak 100 TiB untuk satu volume.

Sebanyak 16 TiB untuk satu file.

Pengalaman cloud hibrid yang konsisten.
Harga Harga Azure Blob Storage Harga Azure Files Harga Azure Managed Lustre Harga Azure NetApp Files

Langkah berikutnya

Artikel berikut ini memberikan panduan yang mungkin berguna bagi Anda di berbagai titik selama proses adopsi cloud Anda. Mereka dapat membantu Anda berhasil dalam skenario adopsi cloud Anda untuk HPC di sektor keuangan.