Düzenleme mesafesi veri çerçeve sütunları türetilerek kıvılcımdaki veri çerçevesine yeni sütun ekleme (String)

Question

Scala ve Spark için yeni. Düzenleme mesafesini hesaplayarak mevcut veri sütunlarından yeni bir sütun elde etmek istiyorum. Örneğin FNAME ve LNAME iki kare veri karesidir, FNAME ile LNAME arasındaki mesafeyi koruyan NAMESCORE adlı yeni sütun eklemek istediler. Lütfen bir çalışma veya sahte kod ile bildiriniz.

Bağlantı kısmi bir cevabı aldım.

Derive multiple columns from a single column in a Spark DataFrame

Answer 1

Sen UDF kullanabilirsiniz:

def udfToFindEditDistance(col1 :String,col2 :String): String ={ 
    //find edit distance b/w col1 and col2 
    } 

UDF

val newUDF=udf(udfToFindEditDistance(_:String,_:String)) 

yeni bir sütun

val newDf=df.withColumn("newColumnName",newUDF(df("FNAME"),df("LNAME"))) 

ekleme Kayıt

Answer 2

Sen levenshtein f kullanabilirsiniz düzenleme mesafesini hesaplamak için açık artırma.

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/sql/functions.html#levenshtein(org.apache.spark.sql.Column,%20org.apache.spark.sql.Column)

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.crealytics.spark.excel") 
    ... 
    .load(...) 
df.withColumn("NAME_DISTANCE", levenshtein($"Name_Left", $"Name_Right"))