Amdo iş sayaçlarında "Map output materialized bytes" ile "map output bytes" arasındaki fark nedir? Harita çıktısı sıkıştırmasını devre dışı bıraktığımda ilkini göremiyorum, bu yüzden bu sıkıştırılmış bayt iken gerçek çıktı bayt (sıkıştırılmış) olduğunu tahmin ediyorum?"Map output materialized bytes" vs "map output bytes"
Sanırım haklısınız. http://hadoop.apache.org/docs/r1.0.4/releasenotes.html'dan:
MAPREDUCE-2365. FileInputFormat (BYTES_READ) ve FileOutputFormat (BYTES_WRITTEN) için yeni sayıcılar. Sıkıştırılmış MapOutputSize için yeni sayaç MAP_OUTPUT_MATERIALIZED_BYTES. (Siddharth Seth)
(Değişiklik Hadoop'un 0.20.2 yana)
.............................. .................................................. ..................................................
: Burada
.................
Tom White'ın "Hadoop Kesin Kılavuzu" bir alıntı, 3. baskı (tablo 8-2, sayfa 261) 'dir "Map output materialized bytes" - Gerçekte diske yazılan harita çıktısının bayt sayısı. Harita çıkış sıkıştırması etkinleştirilirse, bu sayaç değerine yansıtılır."Harita çıktı baytları" - İşteki tüm haritaların oluşturduğu sıkıştırılmamış çıktının bayt sayısı. Haritanın OutputCollector üzerinde her zaman collect() yöntemi çağrılır.
İş ayrıntıları sayfamda "Harita çıkarılan baytları göster" görmüyorum. Hadoop 2.0.0-mr1-cdh4.2.1 kullanıyorum. Bazı ayar değişikliklerini yapmak zorunda mıyım? –