S3 tek json dosyası olarak büyük Spark Dataframe kaydet Amazon S3 tek json dosyası (20G fazlasının) bir Spark DataFrame kurtarmaya çalışırken, dataframe kurtarmak için benim kod aşağıdaki gibi olduğunu

Question

Im:

dataframe.repartition(1).save("s3n://mybucket/testfile","json") 

Ancak S3'ten bir hata alıyorum "Önerilen yüklemeniz izin verilen maksimum boyutu aşıyor", Amazon tarafından izin verilen maksimum dosya boyutunun 5 GB olduğunu biliyorum.

S3 multipart yüklemesini Spark ile kullanmak mümkün mü? ya da bunu çözmek için başka bir yol var mı?

Verileri başka bir kullanıcı sonra indireceğinden, verileri tek bir dosyada istiyorum.

* Spark-ec2 betiği ile oluşturulan 3 düğümlü bir kümede apache spark 1.3.1 kullanıyorum.

teşekkürler bence Spark

JG

Answer 1

Büyük veri çerçevesini, daha sonra hedeflediğiniz dosyaya eklediğiniz bir dizi daha küçük veri çerçevesine ayırmayı deneyeceğim.

df.write.mode('append').json(yourtargetpath) 

Answer 2

S3A olmayan bir sürü üretim versiyonu. Tasarımın sağlam olmadığını söyleyebilirim. yeniden bölümleme (1) korkunç olacak (kıvılcım söylediğiniz şey tüm bölümleri tek bir noktaya birleştirmektir). Tek bir dosya yerine bir klasörden içerik indirmeye ikna etmenizi öneririm

Answer 3

bu

dataframe.write.format("org.apache.spark.sql.json").mode(SaveMode.Append).save("hdfs://localhost:9000/sampletext.txt");