部署后如何配置大数据群集设置

适用于： SQL Server 2019 (15.x)

重要

Microsoft SQL Server 2019 大数据群集附加产品将停用。 对 SQL Server 2019 大数据群集的支持将于 2025 年 2 月 28 日结束。 具有软件保障的 SQL Server 2019 的所有现有用户都将在平台上获得完全支持，在此之前，该软件将继续通过 SQL Server 累积更新进行维护。 有关详细信息，请参阅公告博客文章和 Microsoft SQL Server 平台上的大数据选项。

在部署后可以使用 azdata CLI 配置 SQL Server 大数据群集 的群集、服务和资源范围设置。 此功能使 SQL Server 大数据群集 管理员可以调整配置，使其始终满足工作负载要求。 本文介绍有关如何配置时区的示例方案和 Spark 工作负载要求。 后期部署配置功能遵循集、差异和应用流。

注意

部署后设置配置仅适用于 SQL Server 大数据群集 CU9 及更高版本的部署。 设置配置不包括缩放、存储或终结点配置。 可在此处找到用于配置低于 CU9 的 SQL Server 大数据群集 版本的选项和说明。

分步方案：在 SQL Server 大数据群集 上配置时区

从 SQL Server 大数据群集 CU13 开始，可以自定义群集时区配置，使服务时间戳与所选时区保持一致。 此设置不会应用于大数据群集控制平面，它将为所有 SQL Server 池（主池、计算池和数据池）、Hadoop 组件和 Spark 设置新的时区配置。

注意

默认情况下，SQL Server 大数据群集 将 UTC 设置为时区。

使用以下命令设置时区配置：

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

将挂起的设置应用于群集

以下命令将应用配置并重启所有服务。 查看本文的最后一部分，了解如何跟踪更改和控制配置过程。

azdata bdc settings apply

分步方案：根据 Spark 工作负载要求配置群集

查看大数据群集 Spark 服务的当前配置

下面的示例演示如何查看 Spark 服务的用户配置的设置。 可以通过可选参数查看所有可能的可配置设置、系统管理的和所有可配置的设置，以及挂起的设置。 有关详细信息，请参阅 azdata bdc spark 语句。

azdata bdc spark settings show

示例输出

Spark 服务

设置	运行值
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

更改 Spark 驱动程序的默认核心数和内存

将 Spark 服务的默认核心数更新为 2，将默认内存更新为 7424 MB。 对于 Spark 服务而言，这会影响 Spark 的所有资源。

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

更改存储池中 Spark 执行程序的默认核心数和内存

将存储池的执行程序默认核心数更新为 4。

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

为 Spark 应用程序的默认 classpath 配置其他路径

/opt/hadoop/share/hadoop/tools/lib/ 路径包含 spark 应用程序要使用的多个库，但默认情况下，引用的路径不会加载到 spark 应用程序的 classpath 中。 若要启用此设置，请应用以下配置模式。

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

查看大数据群集中暂存的挂起设置更改

查看整个大数据群集中仅针对 Spark 服务的挂起的设置更改。

挂起的 Spark 服务设置

azdata bdc spark settings show --filter-option=pending --include-details

Spark 服务

设置	运行值	配置的值	可配置	已配置	上次更新时间
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

所有挂起的设置

azdata bdc settings show --filter-option=pending --include-details --recursive

Spark 服务设置 - 挂起

设置	运行值	配置的值	可配置	已配置	上次更新时间
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Storage-0 资源 Spark 设置 - 挂起

设置	运行值	配置的值	可配置	已配置	上次更新时间
spark-defaults-conf.spark.executor.cores	1	4	true	true

将挂起的设置应用于大数据群集

azdata bdc settings apply

监视配置更新状态

azdata bdc status show

可选步骤

还原挂起的配置设置

如果确定不再需要更改挂起的配置设置，则可以取消暂存这些设置。 这将还原所有范围内挂起的设置。

azdata bdc settings revert

中止配置升级

如果任何组件的配置升级失败，可以取消升级过程，并将群集恢复为以前的配置。 升级期间暂存的更改设置将再次作为挂起的设置列出。

azdata bdc settings cancel-apply

后续步骤

配置 SQL Server 大数据群集