SparkSQL - parke dosyasını oku doğrudan

Question

Bir masa okumak için aşağıdaki kodu kullanarak, SparkSQL için Impala geçiş ediyorum: Nasıl SparkSQL yukarıda çağırmak

my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') 

, bu yüzden böyle bir şey dönebilirsiniz:

'select col_A, col_B from my_table' 

Answer 1

Parke dosyasından bir Dataframe oluşturduktan sonra, üzerine sql queries kodunu çalıştırmak için geçici tablo olarak kaydetmeniz gerekir.

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 

val df = sqlContext.read.parquet("src/main/resources/peopleTwo.parquet") 

df.printSchema 

// after registering as a table you will be able to run sql queries 
df.registerTempTable("people") 

sqlContext.sql("select * from people").collect.foreach(println) 

Answer 2

Biz tablo oluşturmadan JSON, ORC, Parke ve CSV gibi dosyalarda SQL doğrudan çalıştırabilirsiniz .

//This Spark 2.x code you can do the same on sqlContext as well 
val spark: SparkSession = SparkSession.builder.master("set_the_master").getOrCreate 

spark.sql("select col_A, col_B from parquet.`hdfs://my_hdfs_path/my_db.db/my_table`") 
    .show()