Come configurare le impostazioni dei cluster Big Data dopo la distribuzione

  • Articolo

Si applica a: SQL Server 2019 (15.x)

Importante

Il componente aggiuntivo per i cluster Big Data di Microsoft SQL Server 2019 verrà ritirato. Il supporto per i cluster Big Data di SQL Server 2019 terminerà il 28 febbraio 2025. Tutti gli utenti esistenti di SQL Server 2019 con Software Assurance saranno completamente supportati nella piattaforma e il software continuerà a essere mantenuto tramite SQL Server aggiornamenti cumulativi fino a quel momento. Per altre informazioni, vedere il post di blog relativo all'annuncio e Opzioni per i Big Data nella piattaforma Microsoft SQL Server.

Le impostazioni con ambito cluster, servizio e risorsa per i cluster Big Data di SQL Server possono essere configurate dopo la distribuzione tramite l'interfaccia della riga di comando azdata. Questa funzionalità consente agli amministratori dei cluster Big Data di SQL Server di modificare le configurazioni in modo da soddisfare sempre i requisiti del carico di lavoro. In questo articolo vengono illustrati scenari di esempio su come configurare i requisiti relativi al fuso orario e al carico di lavoro Spark. La funzionalità di configurazione post-distribuzione segue un flusso di impostazione, differenziazione, applicazione.

Nota

La configurazione delle impostazioni post-distribuzione è disponibile solo con i cluster Big Data di SQL Server CU9 e implementazioni successive. La configurazione delle impostazioni non include la scalabilità, l'archiviazione o la configurazione dell'endpoint. Le opzioni e le istruzioni per configurare i cluster Big Data di SQL Server prima dell'aggiornamento CU9 sono disponibili qui.

Scenario dettagliato: Configurare il fuso orario nei cluster Big Data di SQL Server

A partire dai cluster Big Data di SQL Server CU13, è possibile personalizzare la configurazione del fuso orario del cluster. In questo modo, i timestamp dei servizi saranno allineati al fuso orario selezionato. L'impostazione non si applica al piano di controllo dei cluster Big Data. La nuova configurazione del fuso orario viene applicata a tutti i pool di SQL Server (master, calcolo e dati), ai componenti Hadoop e a Spark.

Nota

Per impostazione predefinita, i cluster Big Data di SQL Server impostano come fuso orario l'ora UTC.

Usare il comando seguente per impostare la configurazione del fuso orario:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Applicare le impostazioni in sospeso al cluster

Il comando seguente applicherà la configurazione e riavvierà tutti i servizi. Esaminare le ultime sezioni di questo articolo per indicazioni su come tenere traccia delle modifiche e controllare il processo di configurazione.

azdata bdc settings apply

Scenario dettagliato: Configurare il cluster per soddisfare i requisiti del carico di lavoro Spark

Visualizzare le configurazioni correnti del servizio Spark del cluster Big Data

L'esempio seguente illustra come visualizzare le impostazioni configurate dall'utente del servizio Spark. È possibile visualizzare tutte le possibili impostazioni configurabili, le impostazioni gestite dal sistema e tutte le impostazioni configurabili e le impostazioni in sospeso tramite parametri facoltativi. Per altre informazioni, vedere Istruzione azdata bdc spark.

azdata bdc spark settings show

Output di esempio

Servizio Spark

Impostazione Valore corrente
spark-defaults-conf.spark.driver.cores 1
spark-defaults-conf.spark.driver.memory 1664m

Modificare il numero predefinito di core e memoria per il driver Spark

Aggiornare il numero predefinito di core a due e la memoria predefinita a 7.424 MB per il servizio Spark. Questo aggiornamento influirà su tutte le risorse con Spark, per il servizio Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Modificare il numero predefinito di core e memoria per gli executor Spark nel pool di archiviazione

Aggiornare il numero predefinito di core dell'executor a 4 per il pool di archiviazione.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Configurare percorsi aggiuntivi per il classpath predefinito delle applicazioni Spark

Il percorso /opt/hadoop/share/hadoop/tools/lib/ contiene diverse librerie da usare dalle applicazioni Spark. Il percorso di riferimento, tuttavia, non viene caricato per impostazione predefinita nel classpath delle applicazioni Spark. Per abilitare questa impostazione, applicare il modello di configurazione seguente.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Visualizzare le modifiche apportate alle impostazioni in sospeso nel cluster Big Data

Visualizzare le modifiche delle impostazioni in sospeso solo per il servizio Spark e nell'intero cluster Big Data.

Impostazioni del servizio Spark in sospeso

azdata bdc spark settings show --filter-option=pending --include-details

Servizio Spark

Impostazione Valore corrente Valore configurato Configurabile Configurato Ora ultimo aggiornamento
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Tutte le impostazioni in sospeso

azdata bdc settings show --filter-option=pending --include-details --recursive

Impostazioni del servizio Spark - In sospeso

Impostazione Valore corrente Valore configurato Configurabile Configurato Ora ultimo aggiornamento
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Impostazioni Spark risorsa di archiviazione-0 - In sospeso

Impostazione Valore corrente Valore configurato Configurabile Configurato Ora ultimo aggiornamento
spark-defaults-conf.spark.executor.cores 1 4 true true

Applicare le impostazioni in sospeso al cluster Big Data

azdata bdc settings apply

Monitorare lo stato di aggiornamento della configurazione

azdata bdc status show

Passaggi facoltativi

Ripristinare le impostazioni di configurazione in sospeso

Se non si desidera più modificare le impostazioni di configurazione in sospeso, è possibile annullare la preparazione per il commit di queste impostazioni. Verranno ripristinate le impostazioni in sospeso in tutti gli ambiti.

azdata bdc settings revert

Interrompere l'aggiornamento della configurazione

Se l'aggiornamento della configurazione ha esito negativo per uno dei componenti, è possibile annullare il processo di aggiornamento e ripristinare le configurazioni precedenti del cluster. Le impostazioni che sono state preparate per la modifica durante l'aggiornamento verranno elencate di nuovo come impostazioni in sospeso.

azdata bdc settings cancel-apply

Passaggi successivi

Configurare un cluster Big Data di SQL Server