Kovan İşi, bazen

Question

işlendikten sonra durduruyor Kovanı bağımsız bir makinede çalıştırıyorum. Hadoop sahte dağıtılmış modda çalışıyor. Ben iki tabloya katılır kovan sorgu çalıştırıyorum (bir tablo 7M ve başka 51M kayıtları ve her biri 8 sütun içeren). Bir süre işlendikten sonra, Mapper sıfır yüzdesine ulaşır ve sonra zaman zaman sıfır basmaya devam eder. Bunu çözmek için bana yardımcı olabilir misiniz?

Referans için aşağıdaki günlükleri bulun.

2016-04-12 22:52:58,469 Stage-1 map = 71%, reduce = 1% 
2016-04-12 22:53:00,517 Stage-1 map = 72%, reduce = 1% 
2016-04-12 22:53:02,560 Stage-1 map = 73%, reduce = 1% 
2016-04-12 22:53:09,740 Stage-1 map = 74%, reduce = 1% 
2016-04-12 22:53:11,796 Stage-1 map = 75%, reduce = 1% 
2016-04-12 22:53:13,842 Stage-1 map = 76%, reduce = 1% 
2016-04-12 22:53:21,037 Stage-1 map = 77%, reduce = 1% 
2016-04-12 22:53:24,114 Stage-1 map = 78%, reduce = 1% 
2016-04-12 22:53:26,156 Stage-1 map = 79%, reduce = 1% 
2016-04-12 22:53:35,433 Stage-1 map = 81%, reduce = 1% 
2016-04-12 22:53:38,507 Stage-1 map = 82%, reduce = 1% 
2016-04-12 22:53:45,725 Stage-1 map = 82%, reduce = 0% 
2016-04-12 22:53:49,925 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:54:50,236 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:55:50,546 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:56:50,863 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:57:51,128 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:58:51,352 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:59:51,612 Stage-1 map = 0%, reduce = 0% 
2016-04-12 23:00:51,886 Stage-1 map = 0%, reduce = 0% 
2016-04-12 23:01:52,131 Stage-1 map = 0%, reduce = 0% 

İzleyicideki durumu doğruladım. Durum iki tane referans gösteriyordu ve teşhis mesajı ile bir girişim şu şekilde başarısız oldu.

AM Container for appattempt_1460481465127_0001_000001 exited with exitCode: -100 
For more detailed output, check application tracking page:http://localhost:8088/cluster/app/application_1460481465127_0001Then, click on links to logs of each attempt. 
Diagnostics: Container released on a *lost* nodeFailing this attempt 

Şimdiden teşekkürler.

Answer 1

Sorun, harita tarafındaki Yığın alanının neden olduğu görünüyor.
yaparak haritası görev yığın boyutunu artırmak için deneyin:

mapred-site.xml kodunu (kullanma dosyası ile uyum sağlamak için aşağıdaki değerleri deneyin):

<!-- for mappers --> 
<property> 
    <name>mapreduce.map.memory.mb</name> 
    <value>4096</value> 
</property> 
<!-- For reduces --> 
<property> 
    <name>mapreduce.reduce.memory.mb</name> 
    <value>8192</value> 
</property>