hive context pyspark içindeki temp tablosunu tanımıyor - AnalysisException: 'Tablo bulunamadı'

Yerel modda çalışan pyspark (1.6.1) kullanıyorum. Csv dosyasından bir veri çerçevem var ve dense_rank() sütununu eklemem gerekiyor. sqlContext'in pencere işlevini desteklemediğini, ancak HiveContext'in yaptıklarını anladım.hive context pyspark içindeki temp tablosunu tanımıyor - AnalysisException: 'Tablo bulunamadı'

hiveContext = HiveContext(sc) 
df.registerTempTable("visits") 
visit_number = hiveContext.sql("select store_number, " 
           "dense_rank() over(partition by store_number order by visit_date) visit_number " 
           "from visits")

Şu hatayı alıyorum: AnalysisException: u'Table bulunamadı: ziyaretler; uyarıdan sonra

: ObjectStore WARN: Önceki soruları okuduktan sonra NoSuchObjectException

dönen, veritabanı varsayılan alınamadı, ben Konfigürasyon ConnectionURL değiştirmeye çalıştık/hive_defaults.xml kovanı tam yeri olmaya dizini, hiçbir başarı ile.

Bu konudaki herkes?

Teşekkürler!

kaynak

2016-04-06 user3318421

** SOLVED ** görünüşte, tek yapmam gereken, oluşturduğum hiveContext'i silmek ve sqlContext'i SQLContext'ten HiveContext'e geçirmek. Aynı python komut dosyasında her ikisi de (sqlContext ve hiveContext) oluşturma çalışmadı. Soru kendini tekrar eder ve çözümün hiçbir yerinde görmedim. Umarım birisine yardım eder. – user3318421

Eğer

MyDataFrame <- read.df(sqlContext, CsvPath, source = "somthing.csv", header = "true")

ve bundan sonra registerTempTable

önce DataFrame oluşturmalısınız:

registerTempTable(MyDataFrame, "visits")

kaynak

2016-04-06 20:17:23

df zaten bir csv dosyasından gelen bir veri çerçevesidir. df = sqlContext.read.load ('df.csv', format = 'com.databricks.spark.csv', başlık = 'true', InferSchema 'gerçek' =) – user3318421

ama göstermedi DF ... –

Sonuç: Silme SqlContext ve tek HiveContext ile çalışan, her şey gayet iyi çalışıyor.

kaynak

2016-04-07 11:58:49 user3318421

tanımı SQLContext veri toplamaktır, HiveContext için clase görünümünde olduğu gibi –

hive context pyspark içindeki temp tablosunu tanımıyor - AnalysisException: 'Tablo bulunamadı'

cevap

İlgili konular