Hadoop: Bir basamaklı işi bittiği zaman Bölünmüş meta boyutu 10000000

Question

aştı, bir hata alıyorum:

Split metadata size exceeded 10000000 

Ben komut satırı için aşağıdaki geçirerek bir iş başına düzeyde sınırını artırmak için denemek

xxx.jar -D mapreduce.job​.split.metainfo.maxsi‌​ze=30000000 

Ben de

xxx.jar -D mapreduce.jobtracker​.split.metainfo.maxsi‌​ze=30000000 

çalıştı Ama argüman hayır yani hem ben hala aynı hatayı alıyorum çalışmıyor Seçilmiş. Ben 2.5 hadoop kullanıyorum. Neyi yanlış yaptığımı bilen var mı?

Answer 1

Eğer conf/mapred-site.xml mülkiyet aşağıdaki ayarı deneyebilir miyim:

<!-- No limits if set to -1 --> 
<property> 
    <name>mapreduce.jobtracker.split.metainfo.maxsize</name> 
    <value>-1</value> 
</property> 

emin değil

xxx.jar -D mapreduce.jobtracker​.split.metainfo.maxsi‌​ze=-1 

Referans yardımcı (denemek) olacaktır aşağıdaki eğer: https://archive.cloudera.com/cdh/3/hadoop/mapred-default.html

| Name          | Default Value | Description                                                     | 
|---------------------------------------------|---------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| 
| mapred.jobtracker.job.history.block.size | 3145728  | The block size of the job history file. Since the job recovery uses job,history, its important to dump job history to disk as soon as possible.,Note that this is an expert level parameter. The default value is set to,3 MB | 
| mapreduce.jobtracker.split.metainfo.maxsize | 10000000  | The maximum permissible size of the split metainfo file. The JobTracker,won't attempt to read split metainfo files bigger than the configured,value. No limits if set to -1.             |