验证环境变量行为

2021 年 11 月,在某些工作区中更改了在创建、编辑或更新集群时解释环境变量的方式

此更改将于 2021 年 12 月 3 日 01:00-03:00 UTC 恢复。

还原更改后,环境变量的行为将与更改前一样。

本文解释了如何验证群集上的环境变量行为。

行为更改示例

用例 新输入 原始输入 预期值
转义特殊字符($、`、”) var=" var=\" "
使用 $ 访问其他变量 Not supported otherVar=1 var=$otherVar2 12
使用 ‘ 或转义 ‘ var=te'\''stvar=te'\''stvar=te'"'"'st var=te'st te'st

注意

还原更改后,新输入行为将不再起作用。

检查环境变量行为

使用以下步骤来确定你的工作区是使用原始环境变量行为,还是使用新环境变量行为。 计划恢复新行为。

  1. 导航到工作区中的“创建群集”页面。

  2. 展开“高级选项”。

  3. 选择“Spark”。

  4. 在“环境变量”中输入 BEHAVIOR_CHECK=behavior_check

    Update environment variables.

  5. 单击“创建群集”以启动群集。

  6. 群集启动成功后,创建一个 notebook,并附加到新启动的群集上。

  7. 复制以下命令并在单元中运行它:

    cat /databricks/spark/conf/spark-env.sh
    
  8. 如果 BEHAVIOR_CHECK="behavior_check"(双引号)包含在返回值中,则你的群集正在使用原始行为。 因此不需要执行任何操作。

    Original behavior output.

  9. 如果 BEHAVIOR_CHECK='behavior_check'(单引号)包含在返回值中,则你的群集正在使用新行为。

    New behavior output.

如果你未对配置进行任何更改,则无需执行任何操作。

如果你对配置进行了更改以考虑新的环境变量行为,那么当平台更改在 2021 年 12 月 3 日 01:00-03:00 UTC 恢复时,你必须恢复这些更改。