Spark SQL'i parquet dosyasını yazmak için kullanıyorum. Varsayılan olarak Spark SQL, gzip'u desteklemektedir, ancak snappy ve lzo gibi diğer sıkıştırma biçimlerini de destekler. Bu sıkıştırma biçimler
Bir dosya akışını LZO ile sıkıştırmaya ve çok uzaklaşmaya çalışmıyorum. Özellikle, compressFileWithLzo1x işlevimin oluşturduğu arşiv dosyasını ayıklarken bölümleme hatası alıyorum. Benim main fonksiyo