Bir WrappedArray sütunu kıvılcım veri çerçevesindeki Dizeleri nasıl dönüştürürüm?

Question

Ben String Array [Dize] içeren bir sütun dönüştürmek için çalışıyorum, ancak ben sürekli bu hatayı İşte

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String; 

olsun (

val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(",")) 
val dfWithString=df.select($"arrayCol").withColumn("arrayString", 
     mkString($"arrayCol")) 

Answer 1

WrappedArray bir Array değildir kod parçası olan sade eski Java Array değil bir natve Scala koleksiyonu). Sen hiç imzayı değiştirebilir ya:

import scala.collection.mutable.WrappedArray 

(arrayCol: WrappedArray[String]) => arrayCol.mkString(",") 

veya Seq gibi süper tiplerinin birini kullanın:

(arrayCol: Seq[String]) => arrayCol.mkString(",") 

son Kıvılcım versiyonlarında concat_ws yerine kullanabilirsiniz :

Benim için

import org.apache.spark.sql.functions.concat_ws 

df.select(concat_ws(",", $"arrayCol")) 

Answer 2

kod çalışması: Senin durumunda

df.select("wifi_ids").rdd.map(row =>row.get(0).asInstanceOf[WrappedArray[WrappedArray[String]]].toSeq.map(x=>x.toSeq.apply(0))) 

, sanırım öyle:

val mkString = udf(arrayCol=>arrayCol.asInstanceOf[WrappedArray[String]].toArray.mkString(",")) 
val dfWithString=df.select($"arrayCol").withColumn("arrayString",mkString($"arrayCol"))