Python-kommandon fungerar inte på höga samtidighets kluster

Problem

Du försöker köra python-kommandon på ett högt samtidighets kluster.

Alla python-kommandon fungerar inte med ett WARN fel meddelande.

WARN PythonDriverWrapper: Failed to start repl ReplId-61bef-9fc33-1f8f6-2
ExitCodeException exitCode=1: chown: invalid user: ‘spark-9fcdf4d2-045d-4f3b-9293-0f’

Orsak

Både spark.databricks.pyspark.enableProcessIsolation true och spark.databricks.session.share true anges i Apache Spark-konfigurationen på klustret.

De här två Spark-egenskaperna är i konflikt med varandra och hindrar klustret från att köra python-kommandon.

Lösning

Du kan bara ha en av de här två Spark-egenskaperna aktiverade i klustret i taget.

Du måste välja process isolering eller en spark-delad session utifrån dina behov. Inaktivera det andra alternativet.