Spark içinde Düzleştirme Satırları

Question

Scala kullanarak bir kıvılcım testi yapmaktayım.

test.json:

{"a":1,"b":[2,3]} 

val test = sqlContext.read.json("test.json") 

aşağıdaki biçimine dönüştürmek nasıl:

{"a":1,"b":2} 
{"a":1,"b":3} 

Answer 1

Biz genellikle aşağıdaki örnekte olduğu gibi manipüle edilmesi gerekiyorsa hangi json dosyalarını okumak

scala> import org.apache.spark.sql.functions.explode 
import org.apache.spark.sql.functions.explode 


scala> val test = sqlContext.read.json(sc.parallelize(Seq("""{"a":1,"b":[2,3]}"""))) 
test: org.apache.spark.sql.DataFrame = [a: bigint, b: array<bigint>] 

scala> test.printSchema 
root 
|-- a: long (nullable = true) 
|-- b: array (nullable = true) 
| |-- element: long (containsNull = true) 

scala> val flattened = test.withColumn("b", explode($"b")) 
flattened: org.apache.spark.sql.DataFrame = [a: bigint, b: bigint] 

scala> flattened.printSchema 
root 
|-- a: long (nullable = true) 
|-- b: long (nullable = true) 

scala> flattened.show 
+---+---+ 
| a| b| 
+---+---+ 
| 1| 2| 
| 1| 3| 
+---+---+ 

: Sen explode işlevini kullanabilirsiniz