Kıvılcım: Repartition strateji metin dosyasını okuduktan sonra

Question

bu şekilde benim küme başlattı

:

/usr/lib/spark/bin/spark-submit --class MyClass --master yarn-cluster--num-executors 3 --driver-memory 10g --executor-memory 10g --executor-cores 4 /path/to/jar.jar 

Ben büyük metin dosyası okunur yapmak ve ilk şey saymak:

val file = sc.textFile("/path/to/file.txt.gz") 
println(file.count()) 

zaman Bunu yapıyorum, sadece benim düğümlerimden birinin aslında dosyayı okuduğunu ve sayımı yürüttüğünü görüyorum (çünkü sadece bir görevi görüyorum). Bu beklenen mi? RDD'yi daha sonra yeniden bölümlendirmeli miyim, yoksa harita işlevlerini kullandığımda, Spark'i benim için yapar mı?

Answer 1

Gzip dosyasıyla çalıştığınız anlaşılıyor.

my answer here alıntı:

Bunu onlar paralel olarak yüklenemez içinde gzip'lenmiş dosyaları ile oldukça tipik bir sorunu isabet düşünüyorum. Daha spesifik olarak, tek bir gzipli dosya, çoklu görevler tarafından paralel olarak yüklenemez, bu yüzden Spark, 1 görevle yükler ve böylece 1 bölümlü bir RDD verir.

Bunu paralel daha fazla görevler çalıştırmak böylece açıkça yükledikten sonra RDD bölmeniz gerekir. Örneğin

: Sorunuza yapılan yorumlar İlişkin

val file = sc.textFile("/path/to/file.txt.gz").repartition(sc.defaultParallelism * 3) 
println(file.count()) 

, burada yardımcı olmuyor minPartitions ayarı nedendir a gzipped file is not splittable çünkü Kıvılcım hep dosyayı okumak için 1 görevi kullanmasını sağlayabilirsiniz.

normal bir metin dosyası veya bzip2 gibi bir ayrılabilir sıkıştırma formatı ile sıkıştırılmış bir dosya okurken minPartitions ayarlarsanız, o Spark aslında mevcut çekirdek sayısı kadar (paralel görevlerin bu sayıyı dağıtacak göreceksiniz dosyayı okumak için).