Bir kıvılcım RDD

Question

'daki her tuş için maksimum değeri alın Bir kıvılcım RDD'sindeki her benzersiz anahtarla ilişkili maksimum sırayı (değeri) döndürmenin en iyi yolu nedir?

Python kullanıyorum ve Math max'ı, anahtar ve toplamalarla eşleme ve küçültmeyi denedim. Bunu yapmanın etkili bir yolu var mı? Muhtemelen bir UDF?

Ben RDD biçiminde var:

[(v, 3), 
(v, 1), 
(v, 1), 
(w, 7), 
(w, 1), 
(x, 3), 
(y, 1), 
(y, 1), 
(y, 2), 
(y, 3)] 

Ve geri gerekir:

[(v, 3), 
(w, 7), 
(x, 3), 
(y, 3)] 

Kravatlar ilk değeri veya rastgele döndürebilir.

Answer 1

Aslında bir DoubleRDD'niz var. Bunu yapmanın en iyi yollarından biri reduceByKey ile geçerli:

(Scala)

val grouped = rdd.reduceByKey(math.max(_, _)) 

(Python)

grouped = rdd.reduceByKey(max) 

(Java 7)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    new Function2<Integer, Integer, Integer>() { 
     public Integer call(Integer v1, Integer v2) { 
      return Math.max(v1, v2); 
    } 
}); 

(Java 8)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    (v1, v2) -> Math.max(v1, v2) 
); 

reduceByKey için

API doc:

• Scala
• Python
• Java