Scala Yinelenebilir [tuple] dönüştürme RDD

Question

Spark RDD'ye dönüştürmek istediğim bir dizi (String, String, Int, Double) listesi var.

Genel olarak, Scala Yinelenebilir [(a1, a2, a3, ...,)] öğelerini Spark RDD'ye nasıl dönüştürebilirim?

Answer 1

Bunu yapmak için birkaç yolu vardır, ancak en boğaz ileri yolu sadece Kıvılcım Bağlam kullanmaktır: Ben, sc.Parallelize Listeye bir dönüşüm ihtiyacı var

import org.apache.spark._ 
import org.apache.spark.rdd._ 
import org.apache.spark.SparkContext._ 

sc.parallelize(YourIterable.toList) 

ama senin yapısını koruyacak böylece bir RDD [String, String, Int, Double]