Dışa aktarma parametrelerini Spark gönderiminden geçirme

Question

Uygulamamda, veri tabanına bağlanmam gerekiyor, böylece uygulama gönderildiğinde IP adresi ve veritabanı adını iletmem gerekiyor. aşağıdaki gibi

Ben başvuruda:

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

Ya application-arguments ve conf gerekli geçmek için kullanabilirsiniz: Eğer işaretlerseniz

./spark-submit --class class name --master spark://localhost:7077 \ 
--deploy-mode client /home/hadoop/myjar.jar 

Answer 1

the official documentation sen spark-submit o sözdizimi aşağıdaki etmiştir göreceksiniz ana yönteme göre yapılandırma ve sırasıyla SparkConf.

Answer 2

zero323 tarafından belirtildiği gibi sen İşte the link

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

den komutunu kıvılcım gönderin kullanabilirsiniz conf herhangi gibi çalıştırmak için uygulama için gerekli olan Spark ilgili yapılandırmaları iletmek için kullanılır belirli özellik (yürütücü belleği) veya Spark-default.conf'da ayarlanan varsayılan özelliği geçersiz kılmak isterseniz.

Kullanım durumunuzla ilgili olarak, veritabanına bağlanmak için IP'yi uygulamaya geçirmek istiyorsanız, JAR'dan sonra iletilen [uygulama argümanları]'u kullanabilirsiniz.

Eğer kurarken sizin gibi başlıca:

def main(args: Array[String]) 

Sonra .jar satırdan sonra verilen bağımsız değişken olarak bir şeyi kabul edebilir.

Lütfen bkz. for more details