Veritabanını (kovan tablosundan elde edilen), hadoop'a nasıl yazılır? SequenceFile ve RCFile?

Question

Ben

doğrudan
• ORC

• PARQUET

  ve

• TEXTFILE

• AVRO

içine yazabiliyorum Veritabanlarından ek bağımlılıklar kullanarak

.

<dependency> 
     <groupId>com.databricks</groupId> 
     <artifactId>spark-csv_2.10</artifactId> 
     <version>1.5.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.databricks</groupId> 
     <artifactId>spark-avro_2.10</artifactId> 
     <version>2.0.1</version> 
    </dependency> 

örnek kod:

SparkContext sc = new SparkContext(conf); 
    HiveContext hc = new HiveContext(sc); 
    DataFrame df = hc.table(hiveTableName); 
    df.printSchema(); 
    DataFrameWriter writer = df.repartition(1).write(); 

    if ("ORC".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.orc(outputHdfsFile); 

    } else if ("PARQUET".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.parquet(outputHdfsFile); 

    } else if ("TEXTFILE".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.format("com.databricks.spark.csv").option("header", "true").save(outputHdfsFile); 

    } else if ("AVRO".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.format("com.databricks.spark.avro").save(outputHdfsFile); 
    } 

Hadoop SequenceFile ve RCFile içine dataframe yazmak için herhangi bir yolu var mı?

Answer 1

'u RDD seri hale getirilmiş nesnelerin Sıra Dizini olarak kaydetmek için kullanabilirsiniz. Yani durumda DataFrame den RDD almak zorunda:

JavaRDD<Row> rdd = df.javaRDD; 
rdd.saveAsObjectFile(outputHdfsFile);