RDD'yi Dstream'den nasıl kaldırabilir veya geçersiz kılabilirim?

Question

Açıklığa kavuşturmak için yaptığım şey budur.

@Override 
public JavaRDD<Object> call(JavaPairRDD<Object, Iterable<JSONObject>> aggregatedRDD) throws Exception { 
     try { 
      ... 
      Logic 
      ... 
     } catch (Exception e) { 
      ... 
      Invalidate or remove RDD from dStream 
      ... 
     } 
} 

Ya ben başarısız senaryo için istisna işleyebilir ve daha sonra işlenmek üzere DAG sonraki düğüme taşınmaz böylece Dstream gelen RDD kaldırmak istediğiniz

çalışıyorum. Üstelik, RDD'yi dStream'den nasıl kaldırabilirim bilmek, başka senaryolarda da kullanışlı olabilir (RDD'yi hiçbir şeye dönüştürmek isteyebilirim). Spark’de yeniyim.

Answer 1

Bir istisna durumunda boş bir RDD döndürmek için yeterli olmalıdır.

return sc.emptyRDD()