Notebook で Spark プロパティが変更可能かどうかを確認する方法How to Check if a Spark Property is Modifiable in a Notebook

問題点Problem

さまざまな構成を設定することによって、アプリケーションを調整できます。You can tune applications by setting various configurations. 一部の構成はクラスターレベルで設定する必要がありますが、一部はノートブックまたはアプリケーション内で設定されます。Some configurations must be set at the cluster level, whereas some are set inside notebooks or applications.

ソリューションSolution

Notebook で特定の Spark 構成を設定できるかどうかを確認するには、notebook セルで次のコマンドを実行します。To check if a particular Spark configuration can be set in a notebook, run the following command in a notebook cell:

spark.conf.isModifiable("spark.databricks.preemption.enabled")

@No__t_0 が返された場合は、notebook でプロパティを設定できます。If true is returned, then the property can be set in the notebook. それ以外の場合は、クラスターレベルで設定する必要があります。Otherwise, it must be set at the cluster level.