Kovan nasıl eş zamanlı olarak eşleştirilir?

Question

Ben kovanına yeniyim ve ben bir sorunla karşılaştık,

böyle kovanında bir tablo vardır:

create table td(id int, time string, ip string, v1 bigint, v2 int, v3 int, 
v4 int, v5 bigint, v6 int) PARTITIONED BY(dt STRING) 
ROW FORMAT DELIMITED FIELDS 
TERMINATED BY ',' lines TERMINATED BY '\n' ; 

Ve ben bir sql çalıştırın:

from td 
INSERT OVERWRITE DIRECTORY '/tmp/total.out' select count(v1) 
INSERT OVERWRITE DIRECTORY '/tmp/totaldistinct.out' select count(distinct v1) 
INSERT OVERWRITE DIRECTORY '/tmp/distinctuin.out' select distinct v1 

INSERT OVERWRITE DIRECTORY '/tmp/v4.out' select v4 , count(v1), count(distinct v1) group by v4 
INSERT OVERWRITE DIRECTORY '/tmp/v3v4.out' select v3, v4 , count(v1), count(distinct v1) group by v3, v4 

INSERT OVERWRITE DIRECTORY '/tmp/v426.out' select count(v1), count(distinct v1) where v4=2 or v4=6 
INSERT OVERWRITE DIRECTORY '/tmp/v3v426.out' select v3, count(v1), count(distinct v1) where v4=2 or v4=6 group by v3 

INSERT OVERWRITE DIRECTORY '/tmp/v415.out' select count(v1), count(distinct v1) where v4=1 or v4=5 
INSERT OVERWRITE DIRECTORY '/tmp/v3v415.out' select v3, count(v1), count(distinct v1) where v4=1 or v4=5 group by v3 

o çalışır ve çıktı sonucu istediğim şeydir.

Ancak bir sorun var, kovan 9 mapreduce işi oluşturuyor ve bu işleri tek tek çalıştırıyor.

bu sorguyu açıklamak yürütüyorum ve şu mesajı aldım:

STAGE DEPENDENCIES: 
    Stage-9 is a root stage 
    Stage-0 depends on stages: Stage-9 
    Stage-10 depends on stages: Stage-9 
    Stage-1 depends on stages: Stage-10 
    Stage-11 depends on stages: Stage-9 
    Stage-2 depends on stages: Stage-11 
    Stage-12 depends on stages: Stage-9 
    Stage-3 depends on stages: Stage-12 
    Stage-13 depends on stages: Stage-9 
    Stage-4 depends on stages: Stage-13 
    Stage-14 depends on stages: Stage-9 
    Stage-5 depends on stages: Stage-14 
    Stage-15 depends on stages: Stage-9 
    Stage-6 depends on stages: Stage-15 
    Stage-16 depends on stages: Stage-9 
    Stage-7 depends on stages: Stage-16 
    Stage-17 depends on stages: Stage-9 
    Stage-8 depends on stages: Stage-17 

o sahne 9-17 işini 0-8
mapreduce tekabül ama sahnede, yukarıda izah mesajından gibi görünüyor 10-17 sadece aşama 9,
'a bağlıdır, bu yüzden bir sorum var, neden iş 1-8 eşzamanlı olarak çalışamaz?

Ya da 1-8 iş eşzamanlı olarak nasıl çalıştırabilirim?

Yardımlarınız için çok teşekkür ederim!

Answer 1

Hive-default.xml dosyasında, paralel olarak yürütme işini etkinleştiren "hive.exec.parallel" adlı bir özellik var. Varsayılan değer "false" dir. Bu yeteneği elde etmek için bunu "doğru" olarak değiştirebilirsiniz. Paralel olarak en fazla kaç işin yürütülebileceğini kontrol etmek için "hive.exec.parallel.thread.number" başka bir mülk kullanabilirsiniz. Daha fazla ayrıntı için

: Bu işleri https://issues.apache.org/jira/browse/HIVE-549