Birden çok dizinden ve dosyadan dosya alınıyor olabilir

Question

Dosya girdisi olarak, dosya girdisi olarak ayarladım. arg[0]+"/*/*/*", hiçbir dosyayla eşleşmediğini söyledi.

ne istiyorum gibi birden dosyalarından okumaktır:

 
Directory1 
---Directory11 
    ---Directory111 
     --f1.txt 
     --f2.txt 
---Directory12 
Directory2 
---Directory21 

o Hadoop'un mümkündür? Teşekkürler!

Answer 1

Birden çok dizin ve dosyadan gelen bilgileri ***** operatörü kullanarak alabilirsiniz. Büyük olasılıkla çünkü "arg [0]" argümanı doğru değildir ve bu yüzden dosyaları bulamıyor.

Alternatif olarak, InputFormat.addInputPath özelliğini de kullanabilirsiniz ya da ayrı biçimlere veya mappers'a ihtiyacınız varsa MultipleInputs sınıfı kullanılabilir. Temel bir yol Burada

FileInputFormat.addInputPath(job, myInputPath); 

ekleme

Örnek, Hadoop to reduce from multiple input formats Bu, diğer bir soru da çok benzer MultipleInputs

MultipleInputs.addInputPath(job, inputPath1, TextInputFormat.class, MyMapper.class); 
MultipleInputs.addInputPath(job, inputPath2, TextInputFormat.class, MyOtherMapper.class); 

bir örneğidir ve iyi cevap vermektedir.