Échec des commandes Python sur les clusters à haute concurrencePython commands fail on high concurrency clusters

ProblèmeProblem

Vous tentez d’exécuter des commandes Python sur un cluster à forte concurrence.You are attempting to run Python commands on a high concurrency cluster.

Toutes les commandes python échouent avec un WARN message d’erreur.All Python commands fail with a WARN error message.

WARN PythonDriverWrapper: Failed to start repl ReplId-61bef-9fc33-1f8f6-2
ExitCodeException exitCode=1: chown: invalid user: ‘spark-9fcdf4d2-045d-4f3b-9293-0f’

CauseCause

spark.databricks.pyspark.enableProcessIsolation trueEt spark.databricks.session.share true sont définis dans la configuration Apache Spark sur le cluster.Both spark.databricks.pyspark.enableProcessIsolation true and spark.databricks.session.share true are set in the Apache Spark configuration on the cluster.

Ces deux propriétés Spark sont en conflit les unes avec les autres et empêchent le cluster d’exécuter des commandes Python.These two Spark properties conflict with each other and prevent the cluster from running Python commands.

SolutionSolution

Vous ne pouvez avoir qu’une seule de ces deux propriétés Spark activée sur votre cluster à la fois.You can only have one of these two Spark properties enabled on your cluster at a time.

Vous devez choisir l’isolement des processus ou une session Spark partagée en fonction de vos besoins.You must choose process isolation or a Spark shared session based on your needs. Désactivez l’autre option.Disable the other option.