Cómo comprobar si una propiedad de Spark es editable en un cuaderno

Problema

Puede ajustar las aplicaciones estableciendo varias configuraciones. Algunas configuraciones se deben establecer en el nivel de clúster, mientras que otras se establecen dentro de cuadernos o aplicaciones.

Solución

Para comprobar si se puede establecer una configuración de Spark determinada en un cuaderno, ejecute el siguiente comando en una celda del cuaderno:

spark.conf.isModifiable("spark.databricks.preemption.enabled")

Si true se devuelve, la propiedad se puede establecer en el Bloc de notas. De lo contrario, debe establecerse en el nivel de clúster.