Bir Dataframe sütunu pyspark'ta Dize türünden Çift türüne nasıl değiştirilir

Question

Dize olarak sütun içeren bir veri çerçevem ​​var. Pyspark'ta kolon tipini Double type olarak değiştirmek istedim. Takip

, benim yaptığım yoludur -

toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) 
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) 

Sadece bilmek istedim, bu Lojistik Regresyon aracılığıyla çalışırken olarak, bazı hata alıyorum bunu yapmak için doğru yolu, bu yüzden Acaba, bu sorunun nedeni 'dur.

Answer 1

burada bir UDF gerek yoktur. Column zaten DataType örneği ile cast method sağlamaktadır:

from pyspark.sql.types import DoubleType 

changedTypedf = joindf.withColumn("label", joindf["show"].cast(DoubleType())) 

veya kısa dize:

changedTypedf = joindf.withColumn("label", joindf["show"].cast("double")) 

Answer 2

çözüm basitti -

toDoublefunc = UserDefinedFunction(lambda x: float(x),DoubleType()) 
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) 

Answer 3

sütunun adını koru ve giriş sütunu ile aynı adı kullanarak ekstra kolon eklenmesini önlemek:

changedTypedf = joindf.withColumn("show", joindf["show"].cast(DoubleType())) 

Answer 4

Verilen cevaplar, sorunla başa çıkmak için yeterlidir, ancak yeni sürümü o eklenebilir başka bir şekilde paylaşmak istiyorum f Kıvılcım (Bu konuda emin değilim) verilen cevap onu yakalamadı.

Biz col("colum_name") anahtar kelime ile kıvılcım açıklamada sütunu ulaşabilirsiniz:

from pyspark.sql.functions import col , column 
changedTypedf = joindf.withColumn("show", col("show".cast("double"))