Master'ı yerel olarak ayarlarken bir Spark uygulamasını IntelliJ Idea uygulamasında başarıyla çalıştırabildim [*]. Ancak, master'i ayrı bir Spark örneğine ayarladığımda bir istisna meydana gelir.Aynı Windows Makinesinde Master ile Bağımsız Kümede IntelliJ Fikirde Spark Çalıştır
Çalıştırmaya çalıştığım SparkPi App aşağıda. İşte
name := "SBTScalaSparkPi"
version := "1.0"
scalaVersion := "2.10.6"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"
import scala.math.random
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
/** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster("spark tjvrlaptop:7077").setAppName("Spark Pi") //.set("spark.scheduler.mode", "FIFO").set("spark.cores.max", "8")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 20
val n = math.max(100000000L * slices, Int.MaxValue).toInt // avoid overflow
for(j <- 1 to 1000000) {
val count = spark.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count/n)
}
spark.stop()
}
}
logLevel := Level.Warn
spark-1.6.1-bin-hadoop2.6\bin>spark-class org.apache.spark.deploy.master.Master --host tjvrlaptop
spark-1.6.1-bin-hadoop2.6\bin>spark-class org.apache.spark.deploy.worker.Worker spark tjvrlaptop:7077
[1]: http i.stack.imgur.com/B3BDZ.png
Sonraki Programı IntelliJ'te çalıştırmayı denedim. Aşağıdaki hataları ile bir süre sonra başarısız:
Komut promt Usta çalıştıran
16/03/27 14:44:33 INFO Master: Registering app Spark Pi 16/03/27 14:44:33 INFO Master: Registered app Spark Pi with ID app-20160327144433-0000 16/03/27 14:44:33 INFO Master: Launching executor app-20160327144433-0000/0 on workerişçi-20160327140440-192.168.56.1-52701 16/03/27 14:44: 38 INFO Usta: Uygulamadan kayıt silme başvurusu alındı - 20160327144433-0000 16/03/27 14:44:38 INFO Usta: Uygulama uygulaması kaldırılıyor 20160327144433-0000 16/03/27 14:44:38 BİLGİ Master: TJVRLAPTOP : 55368 ayrıldı, kaldı. 16/03/27 14:44:38 INFO Usta: 192.168.56.1:55350 ayrılmış, kaldırılmış. 16/03/27 14:44:38 Usta WARN: için Got durum güncellemesini bilinmeyen infaz uygulaması-20160327144433-0000/0
İşçi çalıştıran
Komut İstemi
16/03/27 14:44:34 BİLGİ İşçi: Yüklenicinin çalıştırılması istendi app-20160327144433-0000/0 for Spark Pi 16/03/27 14:44:34 BİLGİ SecurityManager: Görünüm aslını değiştirmek için: tjoha 16/03/27 14:44:34 BİLGİ SecurityManager: Değişiklikleri değiştirin: tjoha 16/03/27 14:44:34 BİLGİ SecurityManager: Secu rityManager: kimlik doğrulaması devre dışı; ui acls devre dışı; görüntüleme izinlerine sahip kullanıcılar: Set (tjoha); değişikliklerine sahip kullanıcılar: Set (tjoha) 16/03/27 14:44:34 BİLGİ ExecutorRunner: Başlat komutu: "C Program Dosyaları \ Java \ jre1.8.0_77 \ bin \ java" "-cp" "C Kullanıcılar \ 'tjoha \ Belgeler \ kıvılcım-1.6.1-bin-hadoop2.6 \ bin .. \ conf \; C Kullanıcılar \ tjoha \ Belgeler \ kıvılcım-1.6.1-bin-hadoop2.6 \ bin .. \ lib \ spark-assembly-1.6.1-hadoop1.6.0.jar; C Kullanıcı \ tjoha \ Belgeler \ kıvılcım-1.6.1-bin-hadoop2.6 \ bin .. \ lib \ datanucleus-core-3.2.10.jar; -hadoop2.6 \ bin .. \ lib \ datanucleus-rdbms-3.2.9.jar " " -Xms1024M "" -Xmx1024M "" -Dspark.driver.port = 55350 " " org.apache.spark.executor.CoarseGrainedExecutorBackend " " --driver-url "" Kıvılcım [email protected]: 55350 " " --executor-id "" 0 "" --hostname "" 192.168.56.1 "" - --kolar "" 8 " "--app-id" "app-20160327144433-0000" "- İşçi-url" "kıvılcım [email protected]: 52701" 16.03.27 14:44:38 BİLGİ Çalışan: app-20160327144433-0000/0 16/03/27 14:44:38 BİLGİ ExecutorRunner: Yürütücü için Runner thread app-20160327144433-0000/0 kesintiye uğradı 16/03/27 14:44:38 BİLGİ ExecutorRunner: Öldürme süreci 16.03.2007 14:44:38 BİLGİ Çalışan: Executor uygulaması-20160327144433-0000/0 durumu KILLED exitStatus 1 16/03/27 14:44:38 BİLGİ Çalışan: Yerel temizlik directorie Uygulama, uygulama içi 20160327144433-0.000 16/03/27 14:44:38 BİLGİ ExternalShuffleBlockResolver s: Uygulama Uygulama-20160327144433-0000 çıkarıldı cleanupLocalDirs = gerçek
IntelliJ Fikir çıkış
Spark'in varsayılan log4j profilini kullanma: org/apache/spark/log4j-defaults.properties 16/03/27 15:06:04 BİLGİ SparkContext: Running Spark sürümü 1.6.1 16.03.2007 15:06:05 WARN NativeCodeLoader: 01'niz için yerel-hadoop kütüphanesi yüklenemiyorplatform ... uygulanabilir olduğunda yerleşik java sınıflarını kullanma 16/03/27 15:06:05 INFO SecurityManager: Görünüm aslını değiştirme: tjoha 16/03/27 15:06:05 BİLGİ SecurityManager: : tjoha 16/03/27 15:06:05 BİLGİ SecurityManager: SecurityManager: kimlik doğrulaması devre dışı; kullanıcı adları devre dışı bırakıldı; görüntüleme izinlerine sahip kullanıcılar: Set (tjoha); kullanicilarin degistirme izinleri: Set (tjoha) 16/03/27 15:06:06 INFO Utils: 56183 portunda 'sparkDriver' servisine basladi. 16/03/27 15:06:07 INFO Slf4jLogger: Slf4jLogger 16/03/27 15:06:07 BİLGİ Remoting: Yeniden başlatılıyor 16/03/27 15:06:07 BİLGİ Remoting: Remoting başlatıldı; adresleri dinleme : [akka tcp [email protected]: 56196] 16/03/27 15:06:07 BİLGİ Utils: Başarıyla hizmete başladı 'sparkDriverActorSystem' bağlantı noktası 56196. 16/03/27 15:06: 07 INFO SparkEnv: Kayıt Ol MapOutputTracker 16/03/27 15:06:07 INFO SparkEnv: Kayıt BlockManagerMaster 16/03/27 15:06:07 INFO DiskBlockManager: Yerel dizin oluşturuldu C Users \ tjoha \ AppData \ Local \ Temp \ blockmgr-9623b0f9-81f5-4a10-bbc7-ba077d53a2e5 16/03/27 15:06:07 INFO MemoryStore: MemoryStore, kapasite ile başlatıldı 2,4 GB 16/03/27 15:06:07 BİLGİ SparkEnv: Kayıt ÇıkışCommitCoordinator 16/03/27 15:06:07 WARN Utils: Servis 'SparkUI' 4040 numaralı bağlantı noktasında bağlantı kuramadı. ng port 4041. 16/03/27 15:06:07 BİLGİ Utils: numaralı telefondan 'SparkUI' hizmetini başarıyla başlattı 4041. 16/03/27 15:06:07 BİLGİ SparkUI: SparkUI, http: 192.168.56.1'de başladı: 4041 16/03/27 15:06:08 INFO AppClient $ ClientEndpoint: Bağlama master spark tjvrlaptop: 7077 ... 16/03/27 15:06:09 BİLGİ SparkDeploySchedulerBackend: Uygulama kimliği ile Spark kümesine bağlandı app-20160327150608-0002 16/03/27 15:06:09 INFO AppClient $ ClientEndpoint: Yürütücü eklendi: app-20160327150608-0002/0 on worker-20160327150550-192.168.56.1-56057 (192.168.56.1:56057) ile 8 çekirdekler 16/03/27 15:06:09 BİLGİ SparkDeploySchedulerBackend: executor ID app-20160327150608-0002/0 on hostPort 192.168.56.1:56057 0 8 çekirdek, 1024 ile.0 MB RAM 16/03/27 15:06:09 INFO AppClient $ MüşteriEndpoint: Executor güncellendi: app-20160327150608-0002/0 şimdi çalışmıyor 16/03/27 15:06:09 BİLGİ Utils: Başarıyla başladı servis 'org.apache.spark.network.netty.NettyBlockTransferService', bağlantı noktası 56234. 16/03/27 15:06:09 BİLGİ NettyBlockTransferService: Sunucu tarihinde oluşturuldu 56234 16/03/27 15:06:09 BİLGİ BlockManagerMaster: Trying Kayıt olmak için BlockManager 16/03/27 15:06:09 INFO BlockManagerMasterEndpoint: 2.4 GB RAM ile blok yöneticisi 192.168.56.1:56234 kaydediliyor, BlockManagerId (sürücü, 192.168.56.1, 56234) 16/03/27 15:06 : 09 BİLGİ BlockManagerMaster: Kayıtlı BlockManager 16/03/27 15:06:09 BİLGİ SparkDeploySchedulerBackend: SchedulerBackend çizelgeleme hazır başlangıçtan sonra başlangıç minRegisteredResourcesRatio: 0.0 16/03/27 15:06:10 BİLGİ SparkContext: Başlangıç işi: SparkPi.scala azaltın: 37 16/03/27 15:06:10 BİLGİ DAGScheduler: İş var 0 ( SparkPi.scala: 37) 20 çıkış bölümüyle küçültün 16/03/27 15:06:10 BİLGİ DAGScheduler: Son aşama: ResultStage 0 (SparkPi.scala'da azaltın: 37) 16/03/27 15:06 : 10 BİLGİ DAGScheduler: Son aşamadaki ebeveynler: Liste() 16/03/27 15:06:10 BİLGİ DAGScheduler: Eksik ebeveynler: Liste() 16/03/27 15:06:10 BİLGİ DAGScheduler: Sonuç Gönderme 0 (SparkPi.scala de haritaya MapPartitionsRDD [1]: 33), hiçbir eksik anne 16/03/27 15:06:10 BİLGİ MemoryStore vardır: Bloksaklanan broadcast_16/03/27 15:06:10 BİLGİ MemoryStore bellekte değerleri (tahmini boyutu 1880,0 B, serbest 1880,0 B): Blok bellek (tahmin edilen boyutu 1212,0 B, serbest 3.0 KB) olarak bayt olarak saklanan broadcast_0_piece0 16/03/27 15:06:10 BİLGİ BlockManagerInfo: (: serbest, 1212,0 B: 2.4 GB boyutu) 16/03/27 15:06:10 BİLGİ SparkContext: 192.168.56.1:56234 belleğindeki broadcast_0_piece0 eklendi oluşturuldu yayını 0 dan adresinde yayın DAGScheduler.scala: 1006 16/03/27 15:06:10 BİLGİ DAGScheduler: ResultStage 0'dan 20 eksik görev gönderme (MapPartitionsRDD [1], haritasında: SparkPi.scala: 33) 16/03/27 15 : 06: 10 BİLGİ TaskSchedulerImpl: Kayıtlı infaz: ekleme görev 20 görevleri 16/03/27 15:06:14 BİLGİ SparkDeploySchedulerBackend ile 0.0 set NettyRpcEndpointRef (null) (TJVRLAPTOP: 56281) ID ile 0 16/03/27 15:06:14 BİLGİ TaskSetManager: Başlangıç 0.0, 0.0 aşamasında (TID 0, TJVRLAPTOP, bölüm 0, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:14
...
TJVRLAPTOP, bölme 6, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:14 INFO TaskSetManager: (evre 0.0 görevi 7.0 Başlangıç TID 7, TJVRLAPTOP, bölüm 7, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:14 BİLGİ BlockManagerMasterEndpoint: 511.1 MB RAM 56319, BlockManagerId (0, TJVRLAPTOP, 01: blok yöneticisi TJVRLAPTOP kaydedilmesi56319) 16/03/27 15:06:15 BİLGİ BlockManagerInfo: TJVRLAPTOP'taki bellekte broadcast_0_piece0 eklendi: 56319 (boyut: 1212.0 B, ücretsiz: 511,1 MB) 16/03/27 15:06:15 BİLGİ TaskSetManager: Başlangıç görevi 8.0 aşamada (TID 8, TJVRLAPTOP, bölüm 8, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:15 BİLGİ TaskSetManager: aşama 0.0'da başlangıç görevi 9.0 (TID 9, TJVRLAPTOP, bölüm 9, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:15 BİLGİ TaskSetManager: Başlangıç görevi 10.0, aşamada(TID 10, TJVRLAPTOP, bölüm 10, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06: 15 BİLGİ TaskSetManager: evre 0 görevi 11.0 Başlangıç.0 (TID 11, TJVRLAPTOP, bölme 11, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:15
...
Java.Lang.ClassNotFoundException: SparkPi $$ anonfun $ ana $ 1 $$ java.lang.Class de java.lang.ClassLoader.loadClass (Bilinmeyen Kaynak) de java.lang.ClassLoader.loadClass (Bilinmeyen Kaynak) de java.net.URLClassLoader.findClass (Bilinmeyen Kaynak) de anonfun $ 1 .forName0 (Yerel Yöntem) adresinden java.lang.Class.forName (Bilinmeyen Kaynak) adresinden org.apache.spark.serializer.JavaDeserializationStream $$ anon $ 1.resolveClass (JavaSerializer.scala: 68) java.io.ObjectInputStream.readObject0 de java.io.ObjectInputStream.readOrdinaryObject (Bilinmeyen Kaynak) de java.io.ObjectInputStream.readClassDesc (Bilinmeyen Kaynak) de java.io.ObjectInputStream.readNonProxyDesc (Bilinmeyen Kaynak) (Bilinmeyen Kaynak at) java.io.ObjectInputStream.readObject0 de java.io.ObjectInputStream.readOrdinaryObject (Bilinmeyen kaynak) java.io.ObjectInputStream.readSerialData (Bilinmeyen kaynak) java.io.ObjectInputStream.defaultReadFields (Bilinmeyen Kaynak) (en java.io.ObjectInputStream.defaultReadFields (Bilinmeyen Kaynak) 'de java.io.ObjectInputStream.readSerialData (Bilinmeyen Kaynak) adresindeki java.io.ObjectInputStream.readOrdinaryObject (Bilinmeyen Kaynak)java.io.ObjectInputStream.readObject0 java.io.ObjectInputStream.readOrdinaryObject de java.io.ObjectInputStream.readSerialData (Bilinmeyen kaynak) java.io.ObjectInputStream.defaultReadFields (Bilinmeyen kaynak) (Bilinmeyen Kaynak) (Bilinmeyen Kaynak) org.apache.spark.serializer.JavaDeserializationStream.readObject de java.io.ObjectInputStream.readObject (Bilinmeyen kaynak) java.io.ObjectInputStream.readObject0 (Bilinmeyen Kaynak) (JavaSerializer.scala de: 76) org.apache.spark.scheduler.Task adresinden org.apache.spark.scheduler.ResultTask.runTask (ResultTask.scala: 61) adresinden org.apache.spark.serializer.JavaSerializerInstance.deserialize (JavaSerializer.scala: 115) . r un (Task.scala: 89) org.apache.spark.executor.Executor $ TaskRunner.run (Executor.scala: 214) java.util.concurrent.ThreadPoolExecutor.runWorker (Bilinmeyen Kaynak) adresinde .concurrent.ThreadPoolExecutor $ Worker.run (Bilinmeyen Kaynak) java.lang.Thread.run adresinde (Bilinmeyen Kaynak) 16/03/27 15:06:15 INFO TaskSetManager: Kayıp görev 5.0, aşamada 0,0 (TID 5) executor TJVRLAPTOP: java.lang.ClassNotFoundException (SparkPi $$ anonfun $ ana $ 1 $$ anonfun $ 1) [çoğaltın 1] 16/03/27 15:06:15 BİLGİ TaskSetManager: Sahne 0.0'da 3.0 kayıp görev (TID 3) Yürütücü TJVRLAPTOP: java.lang.ClassNotFoundException
...
BİLGİ TaskSetManager: ... evre 0.0 (TID 20, TJVRLAPTOP, bölme 10, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:15
yılında
TJVRLAPTOP görevi 10.1 Başlangıç , bölüm 3, PROCESS_LOCAL, 2078 bayt) 16/03/27 15:06:15 BİLGİ TaskSetManager: Görev yöneticisi aşamasında aşama 4.0'da (TID 4) kayboluyor TJVRLAPTOP: java.lang.ClassNotFoundException (SparkPi $$ anonfun $ ana $ 1 $$ anonfun $ 1) [çift 8] 16/03/27 15:06:15 BİLGİ TaskSetManager: Kayıp görev 12.0 aşamasında 0.infaz TJVRLAPTOP 0 (TID 12): Java.Lang.ClassNotFoundException
...
BİLGİ TaskSetManager: evre 0.0 (TID 39, TJVRLAPTOP, bölme 2, PROCESS_LOCAL, 2078 bayt) görevi 2.3 Başlangıç 16.03.2007 15:06:16 MapOutputTrackerMasterEndpoint durdu! 16/03/27 15:06:16 WARN TransportChannelHandler: TJVRLAPTOP/192.168.56.1'den itibaren kural dışı durum: 56281 java.io.IOException: Mevcut bir bağlantısı uzak ana bilgisayar tarafından zorla kapatıldı 16/03/27 15: 06:17 BİLGİ MemoryStore: MemoryStore temizlendi 16/03/27 15:06:17 INFO BlockManager: BlockManager durdu 16/03/27 15:06:17 INFO BlockManagerMaster: BlockManagerMaster durdu 16/03/27 15:06: 17 INFO OutputCommitCoordinator $ ÇıktıCommitCoordinatorEndpoint: OutputCommitCoordinator durdu! 16/03/27 15:06:17 BİLGİ SparkContext: Başarıyla durduruldu SparkContext 16/03/27 15:06:17 BİLGİ ShutdownHookManager: Kapatma çenesi 16/03/27 15:06:17 INFO RemoteActorRefProvider $ RemotingTerminator: Uzaktan daemon'u kapatmak. 16/03/27 15:06:17 BİLGİ ShutdownHookManager: dizin C Users silme \ tjoha \ AppData \ Local \ Temp \ kıvılcım-11f8184f-23fb-43Be-91bb-113fb74aa8b9