Hadoop: Küçük dosyalar için CombineFileInputFormat, performans iyileştirme sağlıyor mu?

Question

Yerel makinede yeni testler yapmak ve bazı testler yapmak için yeni oluyorum.

çok sayıda küçük dosyayla ilgilenmek için birçok çözüm var.. CombineFileInputFormat'u genişleten CombinedInputFormat kullanıyorum.

Bu eşlemenin CombinedInputFormat ile 100'den 25'e değiştirildiğini görüyorum. Haritacı sayısının azalması nedeniyle herhangi bir performans artışı beklemeli miyim?

Ben CombinedInputFormat olmadan birçok küçük dosyaya harita-azaltmak işi gerçekleştirdikten

: 100 haritacılar 10 dakika

Ama aldı harita azaltmak işCombinedInputFormat ile idam edildiğinde: 25 haritacı 33 dakikalar önce numaralı telefonu aldı.

Herhangi bir yardım için teşekkür ederiz.

Answer 1

Hadoop, çok sayıda küçük dosyanın aksine, az sayıda büyük dosyada daha iyi performans gösterir. (Burada "Küçük", bir Hadoop Dağıtılmış Dosya Sistemi (HDFS) bloğundan önemli ölçüde daha küçük demektir. "Sayı", 1000'lere kadar değişmektedir).

Bu, 1000 1Mb boyutunda dosyanız varsa, normal TextInputFormat tabanlı Harita azaltma işinin 1000 Harita görevi oluşturacağı anlamına gelir, bu harita görevlerinin her biri, başlangıç ​​ve bitiş için belirli bir süre gerektirir. Görev oluşturmadaki bu gecikme, işin performansını azaltabilir

Kaynak sınırlaması olan çok sayıda kiracı kümesinde, çok sayıda Harita yuvası da zor olacaktır.

Lütfen daha fazla ayrıntı ve Karşılaştırma sonuçları için bu link'a bakın.