RDD bölümlerini kendi dizinindeki bağımsız parke dosyalarına yazmak

Question

Her RDD bölümünü, kendi dizini ile parke dosyasını ayırmak için yazmak istediğim adımlarla mücadele ediyorum. Örnek olacak: bu biçimin

<root> 
     <entity=entity1> 
      <year=2015> 
       <week=45> 
        data_file.parquet 

Avantajı ben sütun olarak SparkSQL bu doğrudan kullanabilir ve ben gerçek dosyasında bu veriler tekrar etmek zorunda kalmazsınız. Bu, ayrı bölümleme meta verileri başka bir yere depolamadan belirli bölüme ulaşmak için iyi bir yol olurdu.

Önceki adım olarak, çok sayıda gzip dosyasından yüklenen ve yukarıdaki tuşlara göre bölümlenmiş tüm verilere sahibim.

Her bölmeyi ayrı bir RDD olarak almak ve sonra yazmak için iyi bir yol bulamadığım halde yazabilirim.

Herhangi bir yardım için teşekkür ederiz. Bu arada bu yığına yeniyim.

Answer 1

Kaydetmek istediğiniz RDD'ye foreachPartition(f: Iterator[T] => Unit) numaralı telefonu arayarak mümkün olduğunu düşünüyorum.

işlevi Eğer foreachPartition içine Resim:

1. recordWriter her bir çizgi sokulmasıyla bir ParquetWriter
2. çekme kanalında hdfs://localhost:9000/parquet_data/year=x/week=y
3. yineleyici hazırlayın.
4. Kabul cevabı uygun sorunun cevabının sanmıyorum

Answer 2

temizlemek. Böyle

deneyin şey:

df.write.partitionBy("year", "month", "day").parquet("/path/to/output") 

Ve bölümlenmiş dizin yapısını alacak.