Eşleme tablolarını, yaklaşık 800 parça dosyasına sahip kovan tablolarıyla denetleme

Question

Verilerin her gün eklendiği bir kovan tablosum var. Yani, her gün yaklaşık 5 dosya ekleniyor. Şimdi bu tablo altında 800 adet dosyaya sahip olduk.

Bu tabloya katıldığım veya bu tabloyu kullandığım her yer 800 haritacıyı tetikliyor çünkü harita sayısı dosya sayısıyla orantılı.

Ancak tüm tablonun işlerimi kullanması için kullanmam gerekiyor.

Tablonun tamamını kullanmanın, ancak çok fazla eşleştiriciyi tetiklemenin bir yolu var mı?

veri bölümü dizinleri saklanır ve sorgulanan her, bölmeler altında sadece dosyaların erişim ve böylece haritacılar böylece Masayı bölme tercih ediyorum

-rw-rw-r-- 3 XXXX hdfs  106610 2015-12-15 05:39 /apps/hive/warehouse/prod.db/TABLE1/000000_0_copy_1.deflate 
-rw-rw-r-- 3 XXXX hdfs  106602 2015-12-23 12:31 /apps/hive/warehouse/prod.db/TABLE1/000000_0_copy_10.deflate 
-rw-rw-r-- 3 XXXX hdfs  157686 2016-03-06 05:20 /apps/hive/warehouse/prod.db/TABLE1/000000_0_copy_100.deflate 
-rw-rw-r-- 3 XXXX hdfs  163580 2016-03-07 05:22 /apps/hive/warehouse/prod.db/TABLE1/000000_0_copy_101.deflate 

Answer 1

altında gibi

Dosyalar bakmak o Bu bölüm sütunları kullanıldığında kovan sorgularında tetiklenir.

Diğer seçenek, verileri sabit no. 'Ya dağıtmak için CLUSTER BY deyimini kullanarak tabloyu bir araya getirmektir. kepçeli dizinler ve no. dizinler ve bu nedenle sorgulanırken erişilen dosyalar.