Spark'deki mevcut RDD'ye nasıl RDD eklenir?

Question

Bir RDD'm var ve ona daha fazla RDD eklemek istiyorum. Spark’de bunu nasıl yapabilirim? Aşağıda kodum var. RDD'yi sahip olduğum dStream'den geri almak istiyorum.

JavaDStream<Object> newDStream = dStream.map(this); 
JavaRDD<Object> rdd = context.sparkContext().emptyRDD(); 
return newDStream.wrapRDD(context.sparkContext().emptyRDD()); 

ben çok dokümantasyonu Apache Kıvılcım tarafından sağlanan JavaDStream sınıfının yaklaşık wrapRDD yöntemini bulmuyorum.

Answer 1

Sen JavaStreamingContext.queueStream kullanabilir ve Queue<RDD<YourType>> ile doldurun: RDD yana

public JavaInputDStream<Object> FillDStream() { 
    LinkedList<RDD<Object>> rdds = new LinkedList<RDD<Object>>(); 
    rdds.add(context.sparkContext.emptyRDD()); 
    rdds.add(context.sparkContext.emptyRDD()); 

    JavaInputDStream<Object> filledDStream = context.queueStream(rdds); 
    return filledStream; 
} 

Answer 2

değişmez olduğunu, ne yapmak yeni bir RDD oluşturup yenisini dönmek için sparkContext.parallize kullanmaktır.

List<Object> objectList = new ArrayList<Object>; 
objectList.add("your content"); 

JavaRDD<Object> objectRDD = sparkContext.parallize(objectList); 
JavaRDD<Object> newRDD = oldRDD.union(objectRDD);