0
böyle Spark 1.6.1 başlatın:Kıvılcım okuma CSV dosyası ClassCastException
./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3
böyle herhangi bir hata olmadan bir CSV dosyası yükleyebilirsiniz:
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv')
ama ben görmek çalıştığınızda böyle veriler:
df.head()
böyle hatalar alıyorum:
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException
Eğer şema çıkarımı kaldırmayı deneyebilirsiniz: Ben kıvılcım başlattığınızda bu argüman olarak değiştirildi zaman hataları gitmiş mi? – eliasah
'SparkTest.csv' dosyasının içeriği nedir? –
Şema çıkarım seçeneğini kaldırdım ancak hata aynı kalıyor. Bu gibi görünen csv dosya satırları: DFLR200,2009-11-02,1000, R100 (yani dize, tarih, sayı, dizi). – skunkwerk