Konfigurasi kumpulan Apache Spark di Azure Synapse Analytics

Kumpulan Spark adalah kumpulan metadata yang menentukan persyaratan sumber daya komputasi dan karakteristik perilaku terkait saat instans Spark dibuat. Karakteristik ini termasuk tetapi tidak terbatas pada nama, jumlah simpul, ukuran simpul, perilaku penskalaan, dan waktu aktif. Kumpulan Spark itu sendiri tidak menggunakan sumber daya apa pun. Tidak ada biaya yang dikenakan untuk membuat kumpulan Spark. Biaya hanya dikenakan setelah pekerjaan Spark dijalankan pada kumpulan Spark target dan instans Spark dibuat sesuai permintaan.

Anda dapat membaca cara membuat kumpulan Spark dan melihat semua propertinya di sini Memulai kumpulan Spark di Synapse Analytics

Komputasi Terisolasi

Opsi Komputasi Terisolasi memberikan keamanan tambahan untuk sumber daya komputasi Spark dari layanan yang tidak tepercaya dengan mendedikasikan sumber daya komputasi fisik ke satu pelanggan. Opsi komputasi terisolasi paling sesuai bagi beban kerja yang memerlukan isolasi tingkat tinggi dari beban kerja pelanggan lain termasuk untuk alasan persyaratan kepatuhan dan peraturan.
Opsi Komputasi Terisolasi hanya tersedia dengan ukuran simpul XXXLarge (80 vCPU/504 GB) dan hanya tersedia di wilayah berikut. Opsi komputasi terisolasi dapat diaktifkan atau dinonaktifkan setelah pembuatan kumpulan meskipun instans mungkin perlu dimulai ulang. Jika Anda berharap untuk mengaktifkan fitur ini di masa mendatang, pastikan ruang kerja Synapse Anda dibuat di wilayah yang didukung komputasi terisolasi.

  • US Timur
  • US Barat 2
  • US Tengah Selatan
  • US Gov Arizona
  • US Gov Virginia

Simpul

Instans kumpulan Apache Spark terdiri dari satu simpul kepala dan dua atau beberapa simpul pekerja dengan minimal tiga simpul dalam instans Spark. Simpul kepala menjalankan layanan manajemen tambahan seperti Livy, Yarn Resource Manager, Penjaga Zookeeper, dan driver Spark. Semua simpul menjalankan layanan seperti Node Agent dan Yarn Node Manager. Semua simpul pekerja menjalankan layanan Spark Executor.

Ukuran Simpul

Kumpulan Spark dapat ditentukan dengan ukuran node yang berkisar dari node komputasi kecil dengan 4 vCore dan memori 32 GB hingga node komputasi XXLarge dengan 64 vCore dan memori 512 GB per node. Ukuran simpul dapat diubah setelah pembuatan kumpulan meskipun instans mungkin perlu dihidupkan ulang.

Ukuran vCore Memori
Kecil 4 32 GB
Medium 8 64 GB
Besar 16 128 GB
XLarge 32 256 GB
XXLarge 64 512 GB
XXX Besar (Komputasi Terisolasi) 80 504 GB

Skala otomatis

Kumpulan Apache Spark menyediakan kemampuan untuk meningkatkan dan menurunkan skala sumber daya komputasi secara otomatis berdasarkan jumlah aktivitas. Saat fitur penskalaan otomatis diaktifkan, Anda dapat mengatur jumlah simpul minimum dan maksimum yang akan diskalakan. Ketika fitur penskalaan otomatis dinonaktifkan, jumlah simpul yang ditetapkan akan tetap. Pengaturan ini dapat diubah setelah pembuatan kumpulan meskipun instans mungkin perlu dihidupkan ulang.

Penyimpanan kumpulan elastis

Kumpulan Apache Spark menggunakan penyimpanan disk sementara saat kumpulan dibuat instans-nya. Untuk banyak pekerjaan Spark, memperkirakan persyaratan penyimpanan kluster itu sulit, yang dapat menyebabkan pekerjaan Spark Anda gagal jika node pekerja menghabiskan penyimpanan. Penyimpanan kumpulan elastis memungkinkan mesin Spark untuk memantau penyimpanan kluster sementara node pekerja, dan melampirkan disk tambahan jika diperlukan. Tidak ada tindakan yang diperlukan oleh pelanggan. Pelanggan akan melihat lebih sedikit kegagalan pekerjaan sebagai akibat dari penyimpanan kumpulan elastis.

Catatan

Penyimpanan kumpulan Elastis Azure Synapse saat ini berada di Pratinjau Umum. Selama Pratinjau Umum, tidak ada biaya untuk penggunaan Penyimpanan Kumpulan Elastis.

Jeda otomatis

Fitur jeda otomatis merilis sumber daya setelah periode tidak aktif yang ditetapkan, sehingga mengurangi biaya keseluruhan kumpulan Apache Spark. Jumlah menit waktu tidak aktif dapat diatur setelah fitur ini diaktifkan. Fitur jeda otomatis tidak bergantung pada fitur skala otomatis. Sumber daya dapat dijeda baik saat penskalaan otomatis diaktifkan atau dinonaktifkan. Pengaturan ini dapat diubah setelah pembuatan kumpulan meskipun sesi aktif mungkin perlu di-restart.

Langkah berikutnya