Spark Hedef günlük dosyası zaten mevcut

Question

Bir kıvılcım çalıştırıyorum. İşimi hep başarısız olduğunu görebilirsiniz ve tarih sunucusunda ben yanlış burada neler olduğunu hiçbir fikrim yok .... hatta benim kodu girin çünkü hata

java.io.IOException: Target log file already exists (hdfs://nameservice1/user/spark/applicationHistory/application_1456200816465_392022) 
    at org.apache.spark.scheduler.EventLoggingListener.stop(EventLoggingListener.scala:201) 
    at org.apache.spark.SparkContext$$anonfun$stop$5.apply(SparkContext.scala:1394) 
    at org.apache.spark.SparkContext$$anonfun$stop$5.apply(SparkContext.scala:1394) 
    at scala.Option.foreach(Option.scala:236) 
    at org.apache.spark.SparkContext.stop(SparkContext.scala:1394) 
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$3.run(ApplicationMaster.scala:107) 
    at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54) 

Bu çok kafa karıştırıcı görüyoruz. Dizini silmeyi ve tekrar çalıştırmayı denedim ... ama aynı sorun.

Answer 1

Şimdiye kadar bir süredir sabit olan https://issues.apache.org/jira/browse/SPARK-4705 adresinden geliyorsunuz. Ama bu daha büyük bir sorunun bir belirtisidir - uygulamanızın bir nedenle başarısız olduğu ve YARN yeniden denediği zaman, bu hatayı alırsınız.