Spark SQL

Question

ile yazarken basılan çok sayıda üstbilgi satırı

Büyük CSV dosyalarını yüklemek ve bunları ortak bir sütuna eklemek için Spark SQL kullanıyorum. Kodumdaki birleştirme işlemini gerçekleştirdikten sonra, tabloyu yeni bir CSV dosyasına geri yüklemek istiyorum. Bunu yapmak için DataFrame'in write() yöntemini kullanıyorum. Dosya incelendiğinde, daha sonra üstbilginin takip ettiği üstbilginin birden çok kez basıldığını gördüm. Örneğin:

name, age, addr, job, salary 
name, age, addr, job, salary 
name, age, addr, job, salary 

Bob, 34, 123 Fake St, Programmer, 10000000 
June, 23, 5 Tree Ave., College Student, 15000 
Rick, 12, 43 Ware St., Student, 0 

name, age, addr, job, salary 
name, age, addr, job, salary 
name, age, addr, job, salary 

<more data here> 

Bu çıkış DataFrame sınıfının show() yöntem konsola tabloyu yazdırır ve ben beklediğiniz görüntüler, özellikle de beklenmedik bir durumdur.

ben yazma gerçekleştirmek için kullanıyorum kodu:

bigTable.write().mode(SaveMode.Overwrite).format("com.databricks.spark.csv") 
      .option("header", "true").save(settings.getValue().outputDir +"/bigTable.csv"); 

veri değerleri doğru CSV kaydedilir ayarı option("header", "false") kullanarak. Bu bir hata mı?

Answer 1

ben partition() ve coalesce() fonksiyonlarını kullanarak bir çözüm bulduk inanıyoruz:

bigTable.repartition(1).coalesce(1).write().format("com.databricks.spark.csv").option("header", "true").save("myoutputfile.csv"); 

CSV dosyası ben beklediğiniz çıkışı bu aramaları ekledikten sonra.