Spark'de tek bir sütunu nasıl toplarım?

Question

Tek bir sütunda bir eylem gerçekleştirmek istiyorum. Maalesef, bu sütunu dönüştürdüğümde artık artık gelen bir veri karesinin parçası değil, bir Sütun nesnesi. Bu şekilde toplanamaz.

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
TypeError: 'Column' object is not callable 

nasıl tek bir sütun üzerinde collect() işlevini kullanabilirsiniz:

df = sqlContext.createDataFrame([Row(array=[1,2,3])]) 
df['array'].collect() 

Bu, aşağıdaki hata üretir: Burada

örneğidir?

Answer 1

Sadece seçme

ve flatMap:

df.select("array").flatMap(lambda x: x).collect() 
## [[1, 2, 3]] 

---

Düzenleme 23/1/2017

Kıvılcım başlayarak Eğer flatMap

kullanmak açıkça sırayla .rdd belirtmeniz gerekir 2.0.0

df.select("array").rdd.flatMap(lambda x: x).collect()