Nutch ile hata 1.11: .... org.apache.hadoop.fs.FileStatus.isDirectory() Z

Question

Java'da Google haberleri gibi bir uygulama yapmak istiyorum. Bunun için bunu sıfırdan yapıyorum ve Nutch ile temel ayarları yapıyorum.

Yüklemeyle tamamlandım, ancak bir komutta hata alıyorum.

Teknikler hakkında kısa bir açıklama. Ben

-nutch 1.11 
-Cygwin 

Benim ilk komut oldu

• kullanıyorum: bana mükemmel çıktı verir

$ bin/nutch 

.

• Sonra URI gibi sürünerek vermedi:

crawldb klasör ve tarama verilen url

• Şimdi segmentleri oluşturmak istediğiniz oluşturulan

$ bin/nutch inject crawl/crawldb urls 

ve hangi g Beni Hata verilen Ives: Sorunu almıyorum

$ bin/nutch generate crawl/crawldb crawl/segments 

Generator: starting at 2016-04-14 17:30:29 
Generator: Selecting best-scoring urls due for fetch. 
Generator: filtering: true 
Generator: normalizing: true 
Generator: Partitioning selected urls for politeness. 
Generator: segment: crawl/segments/20160414173032 
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.fs.FileStatus.isDirectory()Z 
     at org.apache.nutch.util.LockUtil.removeLockFile(LockUtil.java:79) 
     at org.apache.nutch.crawl.Generator.generate(Generator.java:637) 
     at org.apache.nutch.crawl.Generator.run(Generator.java:743) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
     at org.apache.nutch.crawl.Generator.main(Generator.java:699) 

. Kavanozlar arasında uyumsuzluk var mı, yoksa başka bir problem mi var?

Answer 1

Kendiniz ya da ambalajlanmış versiyonu kullandınız mı? Nutch Repo'nun 1.11 şubesini kontrol ettim ve inşa ettim, komutlarınızı yürütmek hiç bir istisna olmaksızın doğru çıktıyı veriyor. Bunu, Windows/cygwin olmayan yerel sistemimde (OS X) test ettim, ancak bu bir sorun olmamalı.

1.11 nutch şubesi hadoop 2.4.0 kullanıyor, runtime/local/lib/ klasöründeki maven repo dosyasından hangi sürümlerin çekildiğini kontrol edebilirsiniz, hadoop-* dosyalarını kontrol edin.