Spark, İplik küme çıkışında çalışır.Code = 13:

İplik kümesinde kıvılcım işini gönderdiğimde, kıvılcım/iplik yenileyiciyim, exitCode = 13'e giriyorum. Kıvılcım işi yerel modda çalışırken, her şey yolunda.Spark, İplik küme çıkışında çalışır.Code = 13:

kullandığım komut şöyledir:

/usr/hdp/current/spark-client/bin/spark-submit --class com.test.sparkTest --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 4 --driver-memory 17g --executor-memory 22g --files /usr/hdp/current/spark-client/conf/hive-site.xml /home/user/sparkTest.jar*

Kıvılcım Hata Günlüğü:

16/04/12 17:59:30 INFO Client: 
     client token: N/A 
     diagnostics: Application application_1459460037715_23007 failed 2 times due to AM Container for appattempt_1459460037715_23007_000002 exited with exitCode: 13 
For more detailed output, check application tracking page:http://b-r06f2-prod.phx2.cpe.net:8088/cluster/app/application_1459460037715_23007Then, click on links to logs of each attempt. 
Diagnostics: Exception from container-launch. 
Container id: container_e40_1459460037715_23007_02_000001 
Exit code: 13 
Stack trace: ExitCodeException exitCode=13: 
     at org.apache.hadoop.util.Shell.runCommand(Shell.java:576) 
     at org.apache.hadoop.util.Shell.run(Shell.java:487) 
     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:753) 
     at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 


**Yarn logs** 

    16/04/12 23:55:35 INFO mapreduce.TableInputFormatBase: Input split length: 977 M bytes. 
16/04/12 23:55:41 INFO yarn.ApplicationMaster: Waiting for spark context initialization ... 
16/04/12 23:55:51 INFO yarn.ApplicationMaster: Waiting for spark context initialization ... 
16/04/12 23:56:01 INFO yarn.ApplicationMaster: Waiting for spark context initialization ... 
16/04/12 23:56:11 INFO yarn.ApplicationMaster: Waiting for spark context initialization ... 
16/04/12 23:56:11 INFO client.ConnectionManager$HConnectionImplementation: Closing zookeeper sessionid=0x152f0b4fc0e7488 
16/04/12 23:56:11 INFO zookeeper.ZooKeeper: Session: 0x152f0b4fc0e7488 closed 
16/04/12 23:56:11 INFO zookeeper.ClientCnxn: EventThread shut down 
16/04/12 23:56:11 INFO executor.Executor: Finished task 0.0 in stage 1.0 (TID 2). 2003 bytes result sent to driver 
16/04/12 23:56:11 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 1.0 (TID 2) in 82134 ms on localhost (2/3) 
16/04/12 23:56:17 INFO client.ConnectionManager$HConnectionImplementation: Closing zookeeper sessionid=0x4508c270df0980316/04/12 23:56:17 INFO zookeeper.ZooKeeper: Session: 0x4508c270df09803 closed * 
... 
    16/04/12 23:56:21 ERROR yarn.ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application. 
16/04/12 23:56:21 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 13, (reason: Timed out waiting for SparkContext.) 
16/04/12 23:56:21 INFO spark.SparkContext: Invoking stop() from shutdown hook *

kaynak

2016-04-10 user_not_found

spark-submit kesilirken tarafından kodunda sertleşmemiş usta ve daha sonra ayarlamak siz de iplik günlükleri paylaşabilir misiniz (tamamı değil günlükleri, iplik günlüklerinde sadece hata iletileri)? – user1314742

İplik kütüklerini alabilirsiniz: '$ iplik günlükleri -applicationId application_1459460037715_18191' – user1314742

Yanıt için teşekkürler. Yani exitCode 10, classNotFound sorunu nedeniyle ortaya çıkıyor. Bunun hızlı bir şekilde düzeltilmesinden sonra kıvılcım işinin iplik kümesinde çalıştığı 13 numaralı çıkış ile yeni sorunla karşılaştım. Yerel modda iyi çalışır. Ben soruları yanı sıra günlükleri güncelledi böylece insanları karıştırmayın :) –

Size yerel olmak için kodunuzda usta belirledik görünüyor

SparkConf.setMaster("local[*]")

İzin vermelisiniz Eğer

spark-submit --master yarn-client ...

kaynak

2016-04-13 17:46:30 user1314742

Spark, İplik küme çıkışında çalışır.Code = 13:

cevap

İlgili konular