AWS EMR - iş sayaçlarının limiti aşıldı 120

Question

Devraldığım ve EMR'de çalışmaya çalıştığım bir veritabanı kod tabanım var. Ama iş sayaçlarıyla ilgili sorunlara karışıyorum. 120'lik varsayılan sınırı aştığımı söyleyen bir hata alıyorum. Koduma baktım ve 40'a yakın sayaca sahip olduğumu görüyorum ve EMR 30 tane daha iç sayaç ekliyor, ancak bu yine de 120 varsayılan sınırın içinde olmalı.

EMR AMI sürüm 2.4.2 ve Amazon 1.0.3 hadoop dağıtımı üzerinde çalışıyorum.

• Sınırı arttırmanın bir yolu var mı? More than 120 counters in hadoop'u gördüm. Ama bunu EMR'de nasıl kuracağımı bilmiyorum.
• Neler olup bittiğini anlamak için daha fazla hata ayıklaması yapmanın bir yolu var mı?

Answer 1

Bu configuration ile sayaç sınırını yükseltebilirsiniz: Burada

[ 
    { 
    "Classification": "mapred-site", 
    "Properties": { 
     "mapreduce.job.counters.max:": "1024" 
    } 
    } 
] 

sizin küme olan talimatları kaydetme hakkında Amazon's instructions bulunmaktadır. (Kümenizi nasıl oluşturduğunuza ve kullandığınıza bağlı olarak, bunu yapmanın birçok yolu olduğu için doğrudan buraya yapıştırmıyorum.)