Ficheiro LZO comprimido
Devido a restrições de licenciamento, o codec de compressão LZO não está disponível por padrão em clusters do Azure Databricks. Para ler um arquivo compactado LZO, você deve usar um script init para instalar o codec no cluster no momento da inicialização.
Exemplo de notebook: arquivos compactados Init LZO
O seguinte bloco de notas:
- Cria o codec LZO.
- Cria um script init que:
- Instala as bibliotecas de compressão LZO e o comando, e copia o
lzop
codec LZO para o caminho de classe adequado. - Configura o Spark para usar o codec de compressão LZO.
- Instala as bibliotecas de compressão LZO e o comando, e copia o
Init LZO arquivos compactados notebook
Exemplo de bloco de notas: Ler ficheiros comprimidos LZO
O bloco de anotações a seguir lê arquivos compactados LZO usando o codec instalado pelo script init: