Karışık:
MapReduce her redüktör giriş anahtarı tarafından sıralandığını garanti etmez. Sistemin sıralama işlemini gerçekleştirdiği ve transfers map outputs to the reducers as inputs işleminin, karma olarak bilinir.
Sıralama:
Sıralama MapReduce programının çeşitli aşamalarında olur Yani can Harita bulunmaktadır ve evrelerini azaltın.
Harita yukarıdaki resme daha açıklama ekleme Bu diyagram
de bakabilirsiniz ve evrelerini azaltın edin.
The Map Yan: Harita işlevi çıktı üreten başladığında
, sadece diske yazılmaz. Harita çıkışı diske yazmadan önce, ilk olarak divides the data into partitions corresponding to the reducers iş parçacığına gönderilir. Her bölümün içinde background thread performs an in-memory sort by key.
azaltın Yan: tüm harita çıkışları kopyalandığında
, sıralama harita üzerinde yürütülmüştür olarak görev düzgün birleştirme aşaması çağrılmalıdır sıralama fazına (giriyor azaltmak harita çıkışlarını birleştiren, sıralama düzenini koruyan, Bu mermi ile yapılacaktır.
Kaynak: Hadoop Kesin Kılavuz.
doğru, hem sağ haritacılarımızdan ve düşürücüler üzerinde gerçekleşmesi tekrar orijinal soru shuffle'ınıza ve sıralama geliyor? – red
evet! karıştırmak ve sıralama çeşitli senaryolarda hem eşleştiricisindeki ve düşürücüler meydana. – mrsrinivas