Så här kontrollerar du om en Apache Spark-egenskap kan ändras i en notebook-fil

Problem

Du kan justera program genom att ställa in olika konfigurationer. Vissa konfigurationer måste anges på kluster nivå, medan vissa anges i antecknings böcker eller program.

Lösning

Du kan kontrol lera om en viss Spark-konfiguration kan ställas in i en bärbar dator genom att köra följande kommando i en Notebook-cell:

spark.conf.isModifiable("spark.databricks.preemption.enabled")

Om true returneras, kan egenskapen anges i antecknings boken. Annars måste den anges på kluster nivå.