Scala 2.11 ve Spark, tarak ile neden "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror" adresine yönlendiriyor?

Question

Scala 2.11, Spark ve Scallop (https://github.com/scallop/scallop) kullanıyorum. analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar)

ben sbt program cezası çalıştırmak mümkün duyuyorum şöyle

komut satırından çalıştırmak çalıştı. Ben Spark sağlanan bağımlılıkları olmadan bir uygulama şişman kavanozu (bu altındadır inşa etmek sbt kullandı:

time ADD_JARS=analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar java -cp /Applications/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar:analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar com.dtex.analysis.transform.GenUserSummaryView -d /Users/arun/DataSets/LME -p output -s txt -o /Users/arun/tmp/LME/LME 

aşağıdaki hata iletisi alıyorum:

Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse$JavaMirror; at org.rogach.scallop.package$.(package.scala:37) at org.rogach.scallop.package$.(package.scala) at com.dtex.analysis.transform.GenUserSummaryView$Conf.delayedEndpoint$com$dtex$analysis$transform$GenUserSummaryView$Conf$1(GenUserSummaryView.scala:27) at com.dtex.analysis.transform.GenUserSummaryView$Conf$delayedInit$body.apply(GenUserSummaryView.scala:26) at scala.Function0$class.apply$mcV$sp(Function0.scala:40) at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12) at org.rogach.scallop.AfterInit$class.delayedInit(AfterInit.scala:12) at org.rogach.scallop.ScallopConf.delayedInit(ScallopConf.scala:26) at com.dtex.analysis.transform.GenUserSummaryView$Conf.(GenUserSummaryView.scala:26) at com.dtex.analysis.transform.GenUserSummaryView$.main(GenUserSummaryView.scala:54) at com.dtex.analysis.transform.GenUserSummaryView.main(GenUserSummaryView.scala)

Answer 1

sorun, uyumsuz Scala versiyonlarını kullandım yani, yani Kıvılcım oldu Scala 2.10 ile derlendi ve Scala 2.11'i kullanmaya çalışıyordunuz.

Her şeyi Scala 2.10 sürümüne taşıyın ve SBT'nizi de güncellediğinizden emin olun.

Ayrıca Scala 2.11.7 için Spark kaynaklarını derlemeyi ve bunun yerine kullanmayı deneyebilirsiniz.

Answer 2

Ben de benim durumumda, kıvılcım gönderin ile aynı konu ile karşılaşıldı:

Kıvılcım İş ile derlendi: Scala 2.10.8

Kıvılcım küme üzerinde derlenmiştir hangi

Scala sürümü: Scala 2.11.8

Küme üzerindeki Spark sürüm ve Scala sürümlerini kontrol etmek için "kıvılcım kabuğu" komutunu kullanın.

Scala 2.11.8 ile Spark Job kaynağını derledikten sonra & işini gönderdiniz!