Bu konuyla ilgili internette cevap ararken ve okurken kafa karıştırıcı mesajlar alıyorum. Herkes deneyimlerini paylaşabilir mi? Ben gzipped csv değil, ama Parke için iç yapıları dosya Parke vs csv için tamamen farklı bir durum böyle bir gerçeği biliyorum ki, biliyorum.gzipped Parçalı HDFS için Parke dosyası ayrılabilir mi?
GZIP sıkıştırmalı parke dosyaları aslında bölünebilir. Bu, Parquet dosyalarının iç düzeninden kaynaklanmaktadır. Bunlar, kullanılan sıkıştırma algoritmasından bağımsız olarak her zaman ayrılabilirdir.
Bu gerçek aşağıdaki parçaya ayrılmış Parke dosyalarının tasarımı kaynaklanmaktadır:
Bir burada daha ayrıntılı bir açıklama bulabilirsiniz: Cevabınız için https://github.com/apache/parquet-format#file-format
teşekkür ederiz. Sadece onaylamak istiyorum. Bunlar teknik olarak .gz.parquet dosyaları ve parquet.gz dosyaları değil, doğru mu? Sadece Microsoft Polybase gibi ürünler .gz dosyaları üretiyorlar ve dışardan parke formatında dışarı veri aktarıyorlar ve henüz kendileri veya dosya kümeleri içersinde sıkıştırılmış dosya olup olmadığını henüz doğrulamamışlar. – YuGagarin
Evet, gz.parquet olmalılar. Parke uygulaması ile sıkıştırma Parke içinde yapılmalıdır. İlk önce Parke'yi oluşturan ve ardından GZIP'yi çalıştıran bir aracınız varsa, bunlar aslında geçersiz Parke dosyalarıdır. Parke için, formatın bazı bölümlerinin sıkıştırılmadığı (örneğin, başlık) zorunludur. Bu parçalar küçüktür (genellikle bir veya iki KiB civarındadır), ancak onları sıkıştırmak önemli performans kaybına yol açacaktır. – xhochy