Makinelerin kümelerinde Hadoop ve Map-Reduce ile ilgili çok şey okudum. Apache dağıtımının birkaç çekirdekli SMP'de çalıştırılabileceğini bilen biri var mı? Özellikle, aynı makinede birden fazla Harita Azaltma işlemi gerçekleştirilebilir. Zamanlayıcı, bunları birden fazla çekirdek arasında yaymaya özen gösterecektir. Teşekkürler. - KGÇok çekirdekli makinelerde Hadoop ve harita küçültme
cevap
Evet. Birden harita var ve RAM ve CPU tarafından belirlenir her makinede yuvaları azaltmak hadoop wiki
den(her JVM örneği böylece 16 çekirdekli bir 8GB makine hala 7 görev yuvaları olmalıdır varsayılan olarak 1GB gerekiyor)
Bir TaskTracker'da eşzamanlı olarak oluşturulan eşleme sayısını/sayısını azaltmak için mapred.tasktracker.map.tasks.maximum ve mapred.tasktracker.reduce.tasks.maximum yapılandırma düğmesini kullanın. Varsayılan olarak, , 2 olarak ayarlanır, dolayısıyla bir GörevTracker üzerinde verilen bir örneğinde en fazla 2 harita ve 2 azaltma görür.
Sen (yani beefier TaskTracker vb daha yüksek nos için bu. Ayarlayın) doğru donanımınızı yansıtacak başına TaskTracker bazında olanlar ayarlayabilirsiniz.
Çok çekirdekli bilgisayarlar için bu hafif MapReduce çerçevelerini kullanabilirsiniz. Örneğin
LeoTask: çok çekirdekli bilgisayarlar
Apache Hadoop 2.7.3 içiniçin Hafif üretken ve güvenilir mapreduce çerçevesi, benim deneyim İPLİK sağlayan da mümkün kıldığına olmuştur çok çekirdekli destek. İşte tek düğüm üzerinde İPLİK sağlamak için basit bir kılavuzdur:
varsayılan yapılandırma oldukça iyi çalışıyor gibi görünüyor. Çekirdek kullanımınızı ayarlamak istiyorsanız, belki de 'yarn.scheduler.minimum-allocation-vcores' ve 'yarn.scheduler.maximum-allocation-vcores' ayarlarının içine işlenecektir. Eğer iplik-site.xml (https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml)
Ayrıca, çok çekirdekli bir destekle basit bir Hadoop sanal alanını nasıl yapılandıracağınız hakkındaki talimatlar için buraya bakın: https://bitbucket.org/aperezrathke/hadoop-aee
- 1. MongoDB harita sorgusuyla küçültme
- 2. Gevent çok çekirdekli kullanım
- 3. Çok çekirdekli J - Paralelleştirme
- 4. Solr çok çekirdekli NullPointerException
- 5. Python çok çekirdekli programlama
- 6. Solr çok çekirdekli sonrası verileri
- 7. Çok çekirdekli donanıma sahip sayıcı
- 8. Windows Üzerinden Çok Çekirdekli Haskell
- 9. "Harita çıktısının akıtılması başlatılıyor" hadoop harita görevinde çok uzun zaman alıyor
- 10. 'hadoop dfs' ve `hadoop fs`
- 11. python DEAP genetik algoritma çok çekirdekli hız
- 12. Hadoop Mapreduce Programının çıktısını program aracılığıyla okumak
- 13. Bir işlemi doğrudan harita/küçültme/filtre içindeki argümanlara uygular mısınız?
- 14. Hadoop
- 15. Hadoop tarafından en iyi N değerleri Harita Kodu azalt
- 16. Hadoop
- 17. İPLİK ve Hadoop
- 18. Hadoop ve Stata
- 19. Hadoop MapReduce
- 20. Hadoop akışı grep
- 21. Hadoop
- 22. GWAS verilerini analiz etmek için çok çekirdekli R'yi kullanma
- 23. Programları çok çekirdekli veya dağıtılmış sistem üzerinde derleme
- 24. Görüntüleri Daraltmak yerine Küçültme
- 25. Birden çok klasörden giriş dosyaları alma Hadoop işi
- 26. Çok çekirdekli bir işlemcide iş parçacıklarının bağlam geçişi nasıl yapılır?
- 27. Düğüm Çocuk İşlemi Spawn Çok Çekirdekli İşlemci Üzerinde Çalışıyor mu?
- 28. Küçült Küçültme Boyutu
- 29. Hadoop mongo-hadoop kullanarak python'a akıyor
- 30. Mvc4 donatılacak, küçültme ve angularjs hizmetleri