Pandalar veri çerçevesini Spark veri karesine dönüştürme hatası

Question

Pandas DF'i Spark one'a dönüştürmeye çalışıyorum. DF kafa:

10000001,1,0,1,12:35,OK,10002,1,0,9,f,NA,24,24,0,3,9,0,0,1,1,0,0,4,543 
10000001,2,0,1,12:36,OK,10002,1,0,9,f,NA,24,24,0,3,9,2,1,1,3,1,3,2,611 
10000002,1,0,4,12:19,PA,10003,1,1,7,f,NA,74,74,0,2,15,2,0,2,3,1,2,2,691 

Kodu:

dataset = pd.read_csv("data/AS/test_v2.csv") 
    sc = SparkContext(conf=conf) 
    sqlCtx = SQLContext(sc) 
    sdf = sqlCtx.createDataFrame(dataset) 

Ve bir hata var: Ben senin verilerle bu denedim ve çalışıyor

TypeError: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.DoubleType'> 

Answer 1

Yapmanız gerekiyor pandalarınızın veri çerçevesi sütunlarının tür kıvılcımının uygun olduğuna emin olun. senin pandalar dataframe gibi bir şey listelerse:

pd.info() 
<class 'pandas.core.frame.DataFrame'> 
RangeIndex: 5062 entries, 0 to 5061 
Data columns (total 51 columns): 
SomeCol     5062 non-null object 
Col2      5062 non-null object 

Ve bu hata deneyin alıyoruz: Artık

df[['SomeCol', 'Col2']] = df[['SomeCol', 'Col2']].astype(str) 

, .astype(str) aslında söz konusu sütunlar olmak istiyorum türüdür emin olun. Temel olarak, temel Java kodu pythondaki bir nesneyi türden çıkarmaya çalıştığında, bazı gözlemler kullanır ve tahmin yapar, eğer bu tahmin, pandalardan dönüştürmeye çalışan sütun (lar) daki tüm veriler için geçerli değilse kıvılcım başarısız olur.

Answer 2

:

%pyspark 
import pandas as pd 
from pyspark.sql import SQLContext 
print sc 
df = pd.read_csv("test.csv") 
print type(df) 
print df 
sqlCtx = SQLContext(sc) 
sqlCtx.createDataFrame(df).show()