Windows'ta Apache Kıvılcımı başlatılamıyor Cygwin

Question

Bu çok önemsiz ise üzgünüm ama Spark için çok yeni. Windows'da Apache Spark'i Maven kullanarak oluşturdum. Cygwin'i inşa etmek için kullandım ve işe yaradı. Şimdi sbin dizininden komut (./start-master.sh) kullanarak başlayamıyorum.

aşağıda hatayı alıyorum: org.apache.spark.deploy.master.Master başlatmak için başarısız oldu:

Error: Could not find or load main class org.apache.spark.launcher.Main 
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host 

Ben kıvılcım-launcher_2.10-1.5.1 arıyor anlıyoruz. sınıf yolunda jar ancak sınıf yolunu veya lib dizini tanımlayan betiklerde tanımlayamıyorum.

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn 

Patrick McGloin belirtildiği gibi

---

, ayrıca örneğin böyle Windows'un kendisi üzerinde Spark Cluster başlayabileceğini: Gimby örneğin böyle, belirtildiği gibi

Answer 1

Sen Building a Runnable Distribution adımları izleyebilirsiniz:

spark-class.cmd org.apache.spark.deploy.master.Master 
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077 

Sen Spark Standalone Mode ve How to set up Spark cluster on Windows machines?

daha okuyabilir 210

---

Son olarak, OP'den bahsedildiği gibi, üst dizinde yeni bir Özel kıvılcım tar dosyası yaratan bir çalıştırılabilir dağıtım oluşturabildi. (S) bu dosyayı aldı, farklı bir dizinde onu untardı, bin alt dizinine gitti ve daha sonra scala-kabuğunu getirmeyi başardı.