bize aşağıdaki anahtar çifti değerlerle aşağıdaki iki RDDs var diyelim tuşları

Question

iki RDDs birleştirmek için kullanılır.

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] 

ve Şimdi

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ] 

, ben mesela ben bunu nasıl takip

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ] 

dönmek istiyorum bu yüzden de, anahtar değerleriyle onlara katılmak istiyorum Python veya Scala kullanarak kıvılcım mı? Bir yol, birleştirme kullanmaktır, ancak birleştirme, tuple içinde bir tuple yaratacaktır. Ama sadece anahtar değer çifti başına bir tuple sahip olmak istiyorum.

Answer 1

Sendika iki RDDs ve reduceByKey değerleri birleştirmek olacaktır.

(rdd1 union rdd2).reduceByKey(_ ++ _) 

Answer 2

Sadece join kullanmak ve daha sonra map çıkan RDD.

rdd1.join(rdd2).map(case (k, (ls, rs)) => (k, ls ++ rs))