Tüm Satır UDF'ye nasıl iletilir - Spark DataFrame süzgeci

Question

Lot yapı elemanları içeren karmaşık JSON veri kümesi için filtre işlevi yazıyorum. Tek tek sütunları geçmek çok hantal. Sezgisel

val records:DataFrame = = sqlContext.jsonFile("...") 
def myFilterFunction(r:Row):Boolean=??? 
sqlc.udf.register("myFilter", (r:Row)=>myFilterFunction(r)) 

bunun böyle çalışacak düşünüyorum:

records.filter("myFilter(*)=true") 

gerçek sözdizimi nedir

Yani şu UDF ilan?

Answer 1

İşlev çağrısı yaparken satırı oluşturmak için struct() işlevini kullanmanız gerekir, aşağıdaki adımları izleyin.

İthalat Row,

import org.apache.spark.sql._ 

UDF

def myFilterFunction(r:Row) = {r.get(0)==r.get(1)} 

tanımlayın UDF

sqlContext.udf.register("myFilterFunction", myFilterFunction _) 

Kayıt dataFrame

val records = sqlContext.createDataFrame(Seq(("sachin", "sachin"), ("aggarwal", "aggarwal1"))).toDF("text", "text2") 

012 oluştur

Kullanım UDF

records.filter(callUdf("myFilterFunction",struct($"text",$"text2"))).show 

u tüm sütunlar UDF geçirilecek istiyorum

.

records.filter(callUdf("myFilterFunction",struct(records.columns.map(records(_)) : _*))).show 

Sonuç:

+------+------+ 
| text| text2| 
+------+------+ 
|sachin|sachin| 
+------+------+