Kümemi Apache Spark ile birlikte başlatmak için çevrimiçi AWS konsolunu kullandım. Kıvılcım uygulamasına dayanan bir şişman kavanoza sahibim ve bunu bir S3 Kepçe'ye yükledim. Step with a Custom Jar
olarak göndermeye çalıştığımda, işlem başarısız oluyor. Herhangi bir işaretçi büyük takdir edilecektir.EMR kümesine nasıl bir Spark jar gönderirim?
6
A
cevap
2
Kullanım EMR bootstrap to install Spark ve belgelerinde açıklandığı şekilde işini gönderin: https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md
İlgili konular
- 1. EMR Cluster Adımları aynı anda nasıl çalıştırılır?
- 2. Yükseltme EMR Kümesi?
- 3. AW-EMR 5.0
- 4. Amazon EMR, EC2
- 5. PySpark'ı (yerel makine) EMR kümeme nasıl bağlarım?
- 6. Bir apache-spark loggin'i bir Amazon EMR kümesinde redis/logstash'a göndermenin en iyi yolu
- 7. Özel log4j.properties AWS üzerinde EMR
- 8. Mahout'u dolaşım kümesine dağıtma
- 9. Stimulsoft'a parametreleri nasıl gönderirim?
- 10. Belirli bir arabelleğe nasıl bir komut gönderirim?
- 11. Spark, kümeyi oluştururken Amazon'un EMR çekirdek/çalışan düğümleri/örneklerine nasıl yüklenir?
- 12. Airflow - EMR operatöründe Görev Örneği
- 13. Bir dosyaya objdump sonucunu nasıl gönderirim?
- 14. Nasıl jax-rs ile bir dosya gönderirim?
- 15. JQuery async'de nasıl bir form gönderirim?
- 16. mongoDB'yi bir Dataiku veri kümesine nasıl bağlarım?
- 17. R'de bir veri kümesine başlık nasıl eklenir?
- 18. Paradigmaları FactoryGirl özelliğine nasıl gönderirim?
- 19. Ant: Kaynak eki içeren jar nasıl derlenir
- 20. Eclipse: Bir Jar
- 21. nasıl bir EMR işin girdi olarak RedShift sorgu çıktısını kullanılır?
- 22. Python Bağımlılık Yönetimi EMR üzerinde
- 23. Boş dizinleri Jar Jar Links
- 24. Bir örnekte Spark MLlib
- 25. Tüm bir paketi bir kar kümesine geçirme
- 26. Bir RDD'yi Spark
- 27. AWS EMR Adım oluşturulduğu iş başarısız oldu
- 28. İçinde tire olan bir adrese nasıl bir e-posta gönderirim?
- 29. Bir klasördeki dosya listesini Linux'ta bir txt dosyasına nasıl gönderirim?
- 30. Spark
Teşekkür girişiniz için. Ancak, aws-cli çıktılarımda herhangi bir adım-adım yöntemi yoktur. Ruby müşterisini kullanmalı mıyım? – dataker
Belge, şu yönteme sahip olan varsayılan aws klibini kullanır: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html CLI'nizde bulunan alternatif komutu kullanabilirsiniz. Varsa veya varsayılan CLI uygulamasının en son sürümüne güncelleyin. –
Anladım! Çok teşekkürler – dataker