Kıvılcım sayfalarını csv dosyası olarak okuma kıvılcım

Question

Kıvılcımı gelmekte yeniyim ve 1500'ün üzerinde sütunu içeren bir csv dosyasına sahibim. Bunu kıvılcımdaki bir veri çerçevesi olarak yüklemeyi seviyorum. Bunu nasıl yapacağımı bilmiyorum. Teşekkür

ön sayfasından bir örnek vardır

Answer 1

kullanın bu proje https://github.com/databricks/spark-csv

:

import org.apache.spark.sql.SQLContext 

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") // Use first line of all files as header 
    .option("inferSchema", "true") // Automatically infer data types 
    .load("cars.csv")