Apaçi Spark dört mod
çalışır
- Yerel
- Bağımsız
- İplik
- Mesos
Her üç bağımsız, İplik ve Mesos modları dağıtılır ortamı. Dağıtılmış ortamda, kaynak yönetimi, bilgi işlem kaynaklarını yönetmek için çok önemlidir. Dolayısıyla, bilgi işlem kaynaklarını verimli bir şekilde yönetmek için iyi bir kaynak yönetim sistemine veya Kaynak Çizelgesi'ne ihtiyacımız var.
Bağımsız, küçük kıvılcım kümeleri için iyidir, ancak daha büyük kümeler için iyi değildir (Küme düğümlerinde kıvılcımlar (ana + bağımlı) çalıştıran bir yük vardır). Bu daemonlar özel kaynak gerektirir. Dolayısıyla, daha büyük üretim kümeleri için bağımsız olarak önerilmez.
YARN ve Mesos modlarında, Spark bir uygulama olarak çalışır ve hiçbir ek yük kalmaz. Bu yüzden daha iyi performans ve Ölçeklenebilirlik için YARN veya Mesos kullanabiliriz.
YARN ve Mesos arasında, Hadoop kümesini (Apache/CDH/HDP) çalıştırıyorsanız, YARN kullanmak daha iyidir. Yepyeni bir proje durumunda, Mesos (Apache, Mesosfer) kullanmak daha iyidir. Ayrıca, Apache Myriad adlı proje kullanılarak her ikisini de ortak bir şekilde kullanmak için bir hüküm bulunmaktadır.
Her üç moddan da Apache Mesos, daha iyi bir kaynak yönetim yeteneklerine sahiptir.
Bu bağlantıya bakınız, Yarn vs Mesos hakkında ayrıntılı bilgi içermektedir. http://www.quora.com/How-does-YARN-compare-to-Mesos
[Yasal Uyarı: Bir İplik uzmanı değil] Kümenize eklemeyi planladığınız gelecekteki iş yüküne büyük ölçüde bağlı olduğunu düşünüyorum. Mesos genel bir programlayıcıdır, Yarn ise Hadoop iş yükleri için daha uygundur. – rukletsov
İlgili SE sorusuna bir göz atın: http://stackoverflow.com/questions/28664834/which-cluster-type-should-i-choose-for-spark/34657719#34657719 –