A IU do Apache Spark mostra um número incorreto de trabalhos

Problema

Está a rever o número de empregos ativos do Apache Spark num aglomerado na UI Spark, mas o número é demasiado elevado para ser exato.

Se reiniciar o cluster, o número de postos de trabalho mostrados na UI faísca está correto no início, mas com o tempo aumenta anormalmente.

Causa

O Spark UI nem sempre é preciso para agrupamentos grandes ou de longa duração devido a quedas de eventos. O Spark UI requer entradas de rescisão para saber quando um trabalho ativo está concluído. Se um trabalho falhar esta entrada, devido a erros ou falha inesperada, o trabalho pode parar de funcionar enquanto mostra incorretamente como ativo na UI spark.

Solução

Não deve usar a UI spark como fonte de verdade para empregos ativos num cluster.

O método sc.statusTracker().getActiveJobIds() da API de faísca é uma forma fiável de acompanhar o número de postos de trabalho ativos.

Por favor, reveja a documentação do Spark Status Tracker para obter mais informações.