Usta URL'yi ayrıştırılamadı: 'kıvılcım: http: // localhost: 18080' Benim kod çalıştırmasına çalışıyorum zaman

Question

o atar bu Exception:

SparkConf conf = new SparkConf().setAppName("App_Name").setMaster("spark:http://localhost:18080").set("spark.ui.port","18080"); 
JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(1000)); 
String[] filet=new String[]{"Obama","ISI"}; 

JavaReceiverInputDStream<Status> reciverStream=TwitterUtils.createStream(ssc,filet); 
JavaDStream<String> statuses = reciverStream.map(new Function<Status, String>() { 
    public String call(Status status) { return status.getText(); } 
    } 
    ); 
ssc.start(); 
ssc.awaitTermination();}} 

: Bu benim kod

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL:spark:http://localhost:18080 

olduğunu

Bu sorunu nasıl düzeltebilirim?

Answer 1

Sorun, SparkConf.setMaster()'a ilettiğiniz URL'de 2 şema belirtmenizdir.

spark şemadır, bu nedenle spark'dan sonra http eklemeniz gerekmez. Daha fazla örnek için SparkConf.setMaster()'un javadoc'ına bakın.

Kullanmanız gereken ana URL, "spark://localhost:18080" şeklindedir. o başka İstisna atar

SparkConf conf = new SparkConf().setAppName("App_Name") 
    .setMaster("spark://localhost:18080").set("spark.ui.port","18080"); 

Answer 2

ustası için standart bağlantı noktası 7077 değil 18080. bunu değiştirirken Belki, yanıt için 7077.