Falha do trabalho do Apache Spark com Failed to parse byte string

Problema

Os trabalhos de apresentação de faíscas falham com uma Failed to parse byte string: -1 mensagem de erro.

java.util.concurrent.ExecutionException: java.lang.NumberFormatException: Size must be specified as bytes (b), kibibytes (k), mebibytes (m), gibibytes (g), tebibytes (t), or pebibytes(p). E.g. 50b, 100k, or 250m.
Failed to parse byte string: -1
at java.util.concurrent.FutureTask.report(FutureTask.java:122)
at java.util.concurrent.FutureTask.get(FutureTask.java:206)
at org.apache.spark.sql.execution.exchange.BroadcastExchangeExec.doExecuteBroadcast(BroadcastExchangeExec.scala:182)
... 108 more
Caused by: java.lang.NumberFormatException: Size must be specified as bytes (b), kibibytes (k), mebibytes (m), gibibytes (g), tebibytes (t), or pebibytes(p). E.g. 50b, 100k, or 250m.
Failed to parse byte string: -1

Causa

O valor do spark.driver.maxResultSize imóvel de aplicação é negativo.

Solução

O valor atribuído para spark.driver.maxResultSize definir o tamanho máximo (in bytes) dos resultados serializados para cada ação spark. Pode atribuir um valor positivo à spark.driver.maxResultSize propriedade para definir um tamanho específico. Também pode atribuir um valor de 0 para definir um tamanho máximo ilimitado. Não pode atribuir um valor negativo a esta propriedade.

Se o tamanho total de um trabalho estiver acima do spark.driver.maxResultSize valor, o trabalho é abortado.

Deve ter cuidado ao definir um valor excessivamente alto (ou ilimitado) para spark.driver.maxResultSize . Um limite elevado pode causar erros fora de memória no controlador se a spark.driver.memory propriedade não estiver suficientemente alta.

Consulte as propriedades da aplicação de configuração de faíscas para obter mais detalhes.