Spark, kümeyi oluştururken Amazon'un EMR çekirdek/çalışan düğümleri/örneklerine nasıl yüklenir?

Question

Spark (1.6.0) ve Hadoop (Dağıtım: Amazon 2.7.1) uygulamaları ile EMR kümesi başlatmaya çalışıyorum. Ayırma etiketi, emr-4.4.0'dur. Küme gerektiği şekilde kurulum yapıyor ancak Spark master'ı (ana örneklerde) bir daemon işlemi olarak çalıştırmıyor ve ayrıca çalışan (core) örneklerinde Spark'i bulamıyorum (/usr/altındaki Spark dir lib/ sadece lib ve iplik dizinleri) sahiptir.

Küme kurulduktan sonra Spark ana ve çalışan düğümlerini çalıştırmak istiyorum. (yani, işçiler ustaya otomatik olarak bağlanır ve Spark kümesinin bir parçası haline gelir).

Bunu nasıl sağlıyorsunuz? Yoksa bir şey mi özlüyorum?

Şimdiden teşekkürler!

Answer 1

Spark on EMR, YARN modunda kurulur. Bu, bağımsız üstatlar ve köle daemonlarını görememenizin sebebidir. http://spark.apache.org/docs/latest/running-on-yarn.html

Tek başına Kıvılcım master ve worker daemon'ları yalnızca kıvılcım-bağımsız modda üretilir. Eğer EMR hakkında kıvılcım ustalar ve işçiler çalıştırmak istiyor yoksa http://spark.apache.org/docs/latest/spark-standalone.html

Şimdi,

/usr/lib/spark/sbin/start-master.sh 
/usr/lib/spark/sbin/start-slave.sh 

kullanarak ve buna göre yapılandırılması yapabilirsiniz.