Como verificar se uma propriedade do Spark é modificável num bloco de notas

Problema

Pode sintonizar as aplicações definindo várias configurações. Algumas configurações devem ser definidas ao nível do cluster, enquanto algumas são definidas dentro de cadernos ou aplicações.

Solução

Para verificar se uma configuração de faísca específica pode ser definida num bloco de notas, execute o seguinte comando numa célula de portátil:

spark.conf.isModifiable("spark.databricks.preemption.enabled")

Se true for devolvido, então a propriedade pode ser definida no caderno. Caso contrário, deve ser fixado ao nível do cluster.