Pyspark veya Spark

Question

'daki birden çok anahtarı birleştirin Merhaba Tüm kıvılcımlar için yeniyim ..K1 ve K2'nin birlikte bir unique key yapabildiği bir RDD formunu (K1,K2,Row(val1)) (K1,K2,Row(val2)) kullanıyorum. Bunu K1 ve K2 üzerinde birleştirmek istiyorum. Bu yolu araştırmak için bir yol önerebilir, ancak yararlı bir şey elde edemezsiniz.

bir biçime ((K1, K2), V) için You

Answer 1

Harita verilerinizi teşekkür ve diğer PairRDD olarak kullanmak:

rdd 
    .map(lambda ksv: ((ksv[0], ksv[1]), ksv[2])) 
    .reduceByKey(...) # Or other method you want to use