2013-07-08 15 views
5

CDH4 ile pig-0.11.0 + 28 kullanıyorum ve herhangi bir Domuz işi çalıştırdığımda bu özel durumu alıyorum. Yerel modda da olurum. Herhangi bir fikir?Domuz java.lang.NoSuchFieldException: jobsInProgress istisnası

2013-07-08 13:53:44,035 [main] WARN org.apache.pig.backend.hadoop23.PigJobControl - falling back to default JobControl (not using hadoop 0.23 ?) 
    java.lang.NoSuchFieldException: jobsInProgress 
    at java.lang.Class.getDeclaredField(Class.java:1938) 
    at org.apache.pig.backend.hadoop23.PigJobControl.<clinit>(PigJobControl.java:58) 
    at org.apache.pig.backend.hadoop.executionengine.shims.HadoopShims.newJobControl(HadoopShims.java:102) 
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.compile(JobControlCompiler.java:285) 
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:177) 
    at org.apache.pig.PigServer.launchPlan(PigServer.java:1266) 
    at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1251) 
    at org.apache.pig.PigServer.execute(PigServer.java:1241) 
    at org.apache.pig.PigServer.executeBatch(PigServer.java:335) 
    at org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:137) 
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198) 
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:170) 
    at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84) 
    at org.apache.pig.Main.run(Main.java:604) 
    at org.apache.pig.Main.main(Main.java:157) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:208) 
+0

Hadoop İpliklerine karşı Pig oluşturmaya çalışabilirsiniz ('anti jar-withouthadoop -Dhadoopversion = 23') –

+1

Bu bir uyarıdır. Bunu görmezden gelebilirsiniz. Pig, düşük bir hadoop sürümü algıladığında, bu uyarıyı basacak ve bazı düşük API'ları kullanmaya başlayacaktır. – zsxwing

cevap

6

Bu WARN, çalışma zamanında zararsızdır.

Pig, birçok sürümle çalışmak üzere tasarlanmıştır.

CDH4, Apache Hadoop 2.x'i MR1 (0.20/1.x) MR çerçevesi seçeneğiyle gönderdiğinden, Pig, ne beklemesi gerektiğine dair kafa karıştırıyor. Bir 2.x sürümü algılar ve MR2 tarzı bir göndericiyi yüklemeye çalışır, ancak MR1'i kullanırsanız, bu gürültülü WARN'yi yazdırır ve MR1'e geri döner ve hala başarılı bir şekilde devam eder. Hatayı, bunu belirten org.apache.pig.backend.hadoop23.PigJobControl - falling back to default numaralı veya benzeri bir mesaj izler.