2016-03-30 9 views
4

Mapper/Reducer'daki istisnaları ele almak için en iyi uygulamaları anlamak ister.Mapper veya Reducer'daki istisnaları işlemek için Hadoop'un en iyi uygulamaları nelerdir?

Seçenek 1: Herhangi bir deneme/yakalama yapmamak ve görevin başarısız olmasına izin vermek ve MR, işi en sonunda sona erdiren görevi yeniden dener. Tesis mapreduce.map/reduce.maxattempts Burada oynar.

Seçenek 2: Sayaç bloklarındaki arıza sayısını kaydetmek için sayaçları kullanın. Ve bu hataların bazı eşik değerlerine dayanarak ya işi öldürün ya da sadece başarısız kayıtları göstermek için sayaçları kullanın.

Harita azaltmada istisnaların işlenmesi için herhangi bir (diğer) yaygın/standart uygulama var mı?

cevap

2

Listelenen seçenekler 1 ve 2, projemizde ele aldığımız yollardan bazılarıdır. Lütfen here'a bir göz atın. Birkaç seçenek daha var

İlgili konular