Hadoop yavaş çekim yapılandırması

Question

Hadoop işi için "mapred.reduce.slowstart.completed.maps" için ideal bir değer nedir? Uygun şekilde ayarlamak için izlenecek kurallar nelerdir?

Teşekkürler!

Answer 1

Bu senin görevin, kümenin özellikleri ve kullanımı bir dizi bağlıdır:

işinizi maksimum harita kapasitesi vs gerektirecektir kaç harita yuvaları

1. : harita görevleri 1000 çoğaltılır bir işiniz varsa , ancak toplamda 10 harita yuvası var (bir nokta göstermek için aşırı bir durum), daha sonra redüktörlerinizin başlaması, görevlerin yerine getirilmesini azaltmaya başlayabilir. Bu durumda, yavaş başlatmanızı büyük bir değere (0.999 veya 1.0) ayarlayacağım. Bu, eğer eşleştiricileriniz bir yaşını doldurursa da doğrudur - redüktörleri kullanan başka bir kişi

2. Kümeniz nispeten hafif bir şekilde yüklenmişse (redüktör yuvaları için çekişme yoktur) ve haritalayıcılarınız iyi bir hacim verirse veri, daha sonra yavaş başlangıç ​​için düşük bir değer işinizi daha erken bitirmek için yardımcı olacaktır (diğer harita görevleri yürütürken, harita çıktı verileri indiricilere taşındı).

muhtemelen daha