Compartilhar via

Problema conhecido: as instruções de importação do PySpark falham para arquivos .jar instalados por meio do ambiente

  • Artigo

Você pode carregar um arquivo de biblioteca personalizado com um formato .jar em um ambiente do Fabric. Embora o carregamento e a publicação do ambiente sejam bem-sucedidos, o comando de importação falha na sessão do PySpark.

Status: aberto

Experiência do produto: Engenharia de Dados

Sintomas

Em uma sessão do PySpark, a instrução da biblioteca de importação falha com um erro classe não encontrada. A biblioteca personalizada com um formato .jar foi instalada por meio de um ambiente.

Soluções e alternativas

Para contornar esse problema, você pode usar o seguinte comando para instalar a biblioteca na sessão do Notebook: %%configure -f { "conf": { "spark.jars": <>", } } Como alternativa, você pode alternar de uma sessão do PySpark para uma sessão do Scala, se aplicável.

Conteúdo relacionado