Spark SQL - DataFrame'i metin dosyasına nasıl yazılır?

Question

Parke ve parke dosyası yazmak için Spark SQL kullanıyorum.

Ancak bazı durumlarda, DataFrame'u Json veya Parquet yerine metin dosyası olarak yazmam gerekiyor.

Herhangi bir varsayılan yöntem destekleniyor mu yoksa bu DataFrame'i RDD'a dönüştürmek ve saveAsTextFile() yöntemini kullanmak zorunda mıyım?

Answer 1

o `df.select olmalıdır bu

import org.apache.spark.sql.SQLContext 

SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read() 
    .format("com.databricks.spark.csv") 
    .option("inferSchema", "true") 
    .option("header", "true") 
    .load("cars.csv"); 

df.select("year", "model").write() 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("codec", "org.apache.hadoop.io.compress.GzipCodec") 
    .save("newcars.csv");