Python-opdrachten mislukken in clusters met een hoog gelijktijdigheidsniveau

Probleem

U probeert Python-opdrachten uit te voeren op een cluster met hoge gelijktijdigheid.

Alle Python-opdrachten mislukken met WARN een foutbericht.

WARN PythonDriverWrapper: Failed to start repl ReplId-61bef-9fc33-1f8f6-2
ExitCodeException exitCode=1: chown: invalid user: ‘spark-9fcdf4d2-045d-4f3b-9293-0f’

Oorzaak

Zowel spark.databricks.pyspark.enableProcessIsolation true als worden ingesteld in Apache Spark configuratie van het spark.databricks.session.share true cluster.

Deze twee Spark-eigenschappen conflicteren met elkaar en voorkomen dat het cluster Python-opdrachten kan uitvoeren.

Oplossing

U kunt slechts één van deze twee Spark-eigenschappen tegelijk in uw cluster hebben ingeschakeld.

U moet procesisolatie of een gedeelde Spark-sessie kiezen op basis van uw behoeften. Schakel de andere optie uit.