LZO ile sıkıştırılmış dosya
Lisanslama kısıtlamaları nedeniyle LZO sıkıştırma codec'i Azure Databricks kümelerinde varsayılan olarak kullanılamaz. LZO sıkıştırılmış dosyasını okumak için başlatma zamanında codec'i kümenize yüklemek için bir init betiği kullanmanız gerekir.
Not defteri örneği: Init LZO sıkıştırılmış dosyaları
Aşağıdaki not defteri:
- LZO codec bileşenini oluşturur.
- Şu şekilde bir init betiği oluşturur:
- LZO sıkıştırma kitaplıklarını ve
lzopkomutunu yükler ve LZO codec bileşenini uygun sınıf yoluna kopyalar. - Spark'ı LZO sıkıştırma codec'ini kullanacak şekilde yapılandırır.
- LZO sıkıştırma kitaplıklarını ve
Init LZO sıkıştırılmış dosyalar not defteri
Not defteri örneği: LZO sıkıştırılmış dosyalarını okuma
Aşağıdaki not defteri, init betiği tarafından yüklenen codec bileşenini kullanarak LZO sıkıştırılmış dosyalarını okur: