Gecomprimeerd LZO-bestand
Vanwege licentiebeperkingen is de LZO-compressiecodec niet standaard beschikbaar op Azure Databricks-clusters. Als u een gecomprimeerd LZO-bestand wilt lezen, moet u een init-script gebruiken om de codec op het cluster te installeren tijdens het starten.
Notebook-voorbeeld: Gecomprimeerde Init LZO-bestanden
Het volgende notebook:
- Hiermee wordt de LZO-codec gebouwd.
- Hiermee maakt u een init-script dat:
- Installeert de LZO-compressiebibliotheken en de
lzopopdracht en kopieert de LZO-codec naar het juiste klassepad. - Hiermee configureert u Spark voor het gebruik van de LZO-compressiecodec.
- Installeert de LZO-compressiebibliotheken en de
Init LZO-gecomprimeerde bestandennotitieblok
Notebook-voorbeeld: gecomprimeerde LZO-bestanden lezen
In het volgende notebook worden gecomprimeerde LZO-bestanden gelezen met behulp van de codec die door het init-script is geïnstalleerd: