Cara mengonfigurasi pengaturan kluster big data pasca penyebaran

Berlaku untuk: SQL Server 2019 (15.x)

Penting

Add-on Kluster Big Data Microsoft SQL Server 2019 akan dihentikan. Dukungan untuk Kluster Big Data SQL Server 2019 akan berakhir pada 28 Februari 2025. Semua pengguna SQL Server 2019 yang ada dengan Jaminan Perangkat Lunak akan didukung penuh pada platform dan perangkat lunak akan terus dipertahankan melalui pembaruan kumulatif SQL Server hingga saat itu. Untuk informasi selengkapnya, lihat posting blog pengumuman dan opsi Big data di platform Microsoft SQL Server.

Pengaturan tercakup kluster, layanan, dan sumber daya untuk SQL Server Kluster Big Data dapat dikonfigurasi pasca-penyebaran melalui azdata CLI. Fungsionalitas ini memungkinkan SQL Server Kluster Big Data administrator untuk menyesuaikan konfigurasi agar selalu memenuhi persyaratan beban kerja. Artikel ini menjelaskan contoh skenario tentang cara mengonfigurasi zona waktu dan persyaratan beban kerja Spark. Fungsionalitas konfigurasi pasca-penyebaran mengikuti alur yang ditetapkan, berbeda, dan diterapkan.

Catatan

Konfigurasi pengaturan pasca-penyebaran hanya tersedia di SQL Server Kluster Big Data CU9 dan penyebaran yang lebih baru. Konfigurasi pengaturan tidak mencakup konfigurasi skala, penyimpanan, atau titik akhir. Opsi dan instruksi untuk mengonfigurasi SQL Server Kluster Big Data sebelum CU9 dapat ditemukan di sini.

Skenario Langkah demi Langkah: Mengonfigurasi zona waktu di SQL Server Kluster Big Data

Mulai dari SQL Server Kluster Big Data CU13 dimungkinkan untuk menyesuaikan konfigurasi zona waktu kluster, sehingga tanda waktu layanan selaras dengan zona waktu yang dipilih. Pengaturan tidak berlaku untuk sarana kontrol kluster big data, pengaturan ini mengatur konfigurasi zona waktu baru untuk semua kumpulan SQL Server (master, komputasi, dan data), komponen Hadoop, dan Spark.

Catatan

Secara default, SQL Server Kluster Big Data menetapkan UTC sebagai zona waktu.

Gunakan perintah berikut untuk mengatur konfigurasi zona waktu:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Menerapkan pengaturan tertunda ke kluster

Perintah berikut akan menerapkan konfigurasi dan memulai ulang semua layanan. Tinjau bagian terakhir artikel ini tentang cara melacak perubahan dan mengontrol proses konfigurasi.

azdata bdc settings apply

Skenario Langkah demi Langkah: Mengonfigurasi kluster untuk memenuhi persyaratan beban kerja Spark Anda

Lihat konfigurasi layanan Spark kluster big data saat ini

Contoh berikut menunjukkan cara melihat pengaturan yang dikonfigurasi pengguna dari layanan Spark. Anda dapat melihat semua kemungkinan pengaturan yang dapat dikonfigurasi, pengaturan yang dikelola sistem dan semua pengaturan yang dapat dikonfigurasi, dan pengaturan yang tertunda melalui parameter opsional. Kunjungi azdata bdc spark pernyataan untuk informasi lebih lanjut.

azdata bdc spark settings show

Sampel output

Layanan Spark

Pengaturan	Nilai Berjalan
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Mengubah jumlah default inti dan memori untuk driver Spark

Perbarui jumlah default inti menjadi dua dan memori default ke 7424 MB untuk layanan Spark. Ini memengaruhi semua sumber daya dengan Spark, untuk layanan Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Mengubah jumlah default inti dan memori untuk eksekutor Spark di Kumpulan Penyimpanan

Perbarui jumlah default inti eksekutor menjadi 4 untuk Kumpulan Penyimpanan.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Mengonfigurasi jalur tambahan ke classpath default aplikasi Spark

Jalur ini /opt/hadoop/share/hadoop/tools/lib/ berisi beberapa pustaka yang akan digunakan oleh aplikasi spark Anda, tetapi jalur yang dirujuk tidak dimuat secara default di classpath aplikasi Spark. Untuk mengaktifkan pengaturan ini, terapkan pola konfigurasi berikut.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Melihat perubahan pengaturan tertunda yang dipentaskan di kluster big data

Lihat perubahan pengaturan yang tertunda hanya untuk layanan Spark dan di seluruh kluster big data.

Pengaturan Layanan Spark Tertunda

azdata bdc spark settings show --filter-option=pending --include-details

Layanan Spark

Pengaturan	Nilai Berjalan	Nilai Konfigurasi	Bisa dikonfigurasi	Dikonfigurasi	Waktu Terakhir Diperbarui
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Semua Pengaturan Tertunda

azdata bdc settings show --filter-option=pending --include-details --recursive

Pengaturan Layanan Spark - Tertunda

Pengaturan	Nilai Berjalan	Nilai Konfigurasi	Bisa dikonfigurasi	Dikonfigurasi	Waktu Terakhir Diperbarui
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Pengaturan Spark Sumber Daya Storage-0 - Tertunda

Pengaturan	Nilai Berjalan	Nilai Konfigurasi	Bisa dikonfigurasi	Dikonfigurasi	Waktu Terakhir Diperbarui
spark-defaults-conf.spark.executor.cores	1	4	true	true

Menerapkan pengaturan yang tertunda ke kluster big data

azdata bdc settings apply

Memantau status pembaruan konfigurasi

azdata bdc status show

Langkah-langkah opsional

Mengembalikan pengaturan konfigurasi yang tertunda

Jika Anda menentukan bahwa Anda tidak ingin lagi mengubah pengaturan konfigurasi yang tertunda, Anda dapat membatalkan tahapan pengaturan ini. Ini akan mengembalikan pengaturan yang tertunda di semua cakupan.

azdata bdc settings revert

Membatalkan peningkatan konfigurasi

Jika peningkatan konfigurasi gagal untuk salah satu komponen, Anda dapat membatalkan proses peningkatan dan mengembalikan kluster kembali ke konfigurasi sebelumnya. Pengaturan yang dipentaskan untuk perubahan selama pemutakhiran akan kembali dicantumkan sebagai pengaturan tertunda.

azdata bdc settings cancel-apply

Langkah berikutnya

Mengonfigurasi Kluster Big Data SQL Server