pyspark

Question

Ben PySpark aşağıdaki seçeneğini kullanarak bir Spark dataframe üzerine çalışıyorum kullanarak bir kıvılcım çıktı üzerine yazma ama = üzerine yazma komutu başarılı

Answer 1

deneyin

spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path) 

modu değil başarılı değilim:

yukarıdaki Spark 1.4 ve

spark_df.write.format('com.databricks.spark.csv') \ 
    .mode('overwrite').option("header", "true").save(self.output_file_path) 

Answer 2

bir dataframewriter

cSV fonksiyonunda yerleşik

örn.

spark_df.write.csv(path=self.output_file_path, header="true", mode="overwrite")