Настройка кластеров больших данных после развертывания

Область применения: SQL Server 2019 (15.x)

Важно!

Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, а программное обеспечение будет продолжать поддерживаться через SQL Server накопительных обновлений до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.

Параметры Кластеры больших данных SQL Server на уровне кластера, службы или ресурса можно настроить после развертывания с помощью интерфейса командной строки azdata. Эта возможность позволяет администраторам Кластеры больших данных SQL Server настраивать конфигурации в соответствии с требованиями рабочих нагрузок. В этой статье рассматриваются примеры сценариев с настройкой часовых поясов и требования к рабочей нагрузке Spark. Для настройки после развертывания используется процесс "задание — определение различий — применение".

Примечание

Настройка параметров после развертывания возможна только в Кластеры больших данных SQL Server CU9 и выше. Настройка параметров не распространяется на конфигурацию масштаба, хранилища или конечных точек. Доступные варианты и инструкции по настройке Кластеры больших данных SQL Server до версии CU9 см. здесь.

Пошаговое описание сценария: настройка часового пояса для Кластеры больших данных SQL Server

Начиная с версии Кластеры больших данных SQL Server CU13, вы можете настроить для кластера конфигурацию часового пояса, чтобы метки времени служб соответствовали выбранному часовому поясу. Этот параметр не применяется к уровню управления кластерами больших данных, а задает новую конфигурацию часового пояса для всех пулов SQL Server (главный, вычислительный и для данных), а также компонентов Hadoop и Spark.

Примечание

По умолчанию Кластеры больших данных SQL Server задает время в формате UTC в качестве часового пояса.

Следующая команда позволяет изменить конфигурацию часового пояса:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Применение ожидающих изменения параметров к кластеру

Следующая команда применит конфигурацию и перезапустит все службы. Процессы отслеживания изменений и управления настройкой см. в последних разделах этой статьи.

azdata bdc settings apply

Пошаговый сценарий: настройка кластера в соответствии с требованиями рабочей нагрузки Spark

Просмотр текущих конфигураций службы Spark кластера больших данных

В приведенном ниже примере показано, как можно просмотреть настроенные пользователем параметры службы Spark. С помощью дополнительных параметров можно просмотреть все возможные настраиваемые параметры, параметры, управляемые системой, и ожидающие параметры. Дополнительные сведения см. в справке по командам azdata bdc spark statement.

azdata bdc spark settings show

Пример выходных данных

Служба Spark

Параметр	Текущее значение
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Изменение объема памяти и количества ядер, выделяемых по умолчанию для драйвера Spark

Укажите новые значения по умолчанию для службы Spark: 2 ядра и 7424 МБ памяти. Это изменение влияет на все ресурсы, используемые в Spark для службы Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Изменение числа ядер и размера памяти по умолчанию для исполнителей Spark в пуле носителей

Измените число ядер исполнителей по умолчанию на 4 для пула носителей.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Настройка дополнительных путей для пути к классам приложений Spark по умолчанию

Путь /opt/hadoop/share/hadoop/tools/lib/ содержит несколько библиотек, используемых приложениями Spark, но ссылка на путь по умолчанию не включается в путь к классам для приложений Spark. Чтобы включить этот параметр, примените следующий шаблон конфигурации.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Просмотр ожидающих изменений параметров, подготовленных в кластере больших данных

Вы можете просмотреть ожидающие изменения параметров только для службы Spark и для всего кластера больших данных.

Ожидающие параметры службы Spark

azdata bdc spark settings show --filter-option=pending --include-details

Служба Spark

Параметр	Текущее значение	Настроенное значение	Настраивается	Настроено	Время последнего изменения
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Все ожидающие параметры

azdata bdc settings show --filter-option=pending --include-details --recursive

Ожидающие параметры службы Spark

Параметр	Текущее значение	Настроенное значение	Настраивается	Настроено	Время последнего изменения
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Ожидающие параметры ресурса Spark Storage-0

Параметр	Текущее значение	Настроенное значение	Настраивается	Настроено	Время последнего изменения
spark-defaults-conf.spark.executor.cores	1	4	true	true

Применение ожидающих изменения параметров к кластеру больших данных

azdata bdc settings apply

Мониторинг состояния изменения конфигурации

azdata bdc status show

Другие возможные шаги

Отмена ожидающих параметров конфигурации

Если вы решите, что больше не хотите применять ожидающие параметры конфигурации, их подготовку можно отменить. При этом ожидающие параметры отменяются на всех уровнях.

azdata bdc settings revert

Прерывание обновления конфигурации

Если обновление конфигурации для любого из компонентов завершилось сбоем, можно отменить процесс обновления и восстановить предыдущие конфигурации кластера. Параметры, которые были подготовлены к изменению во время обновления, снова перейдут в состояние ожидания.

azdata bdc settings cancel-apply

Дальнейшие действия

Настройка кластера больших данных SQL Server