Kıvılcım: kıvılcım kabuklarından kıvılcım dosyasını nasıl çalıştırılır

Question

CDH 5.2 kullanıyorum. Komutları çalıştırmak için kıvılcım kabuğu kullanabiliyorum. kıvılcım komutları içeren dosyayı (file.spark) nasıl çalıştırabilirim. İkinci olarak, sHb 5.2'deki scala programlarını sbt olmadan çalıştırmak/derlemek için herhangi bir yol var mı? peşin

sayesinde

Answer 1

basitçe Bu dosyada her şeyi arayacak

:load PATH_TO_FILE 

yapmak kıvılcım-kabuk harici dosya yüklemek için.

Sana

spark-shell -i file.scala 

file.scala

Answer 2

Sen kıvılcım programlarını derlemek için SBT veya maven kullanabilirsiniz. Basitçe

<repository> 
     <id>Spark repository</id> 
     <url>http://www.sparkjava.com/nexus/content/repositories/spark/</url> 
</repository> 

maven için bağımlılık olarak kıvılcım eklemek Sonra bağımlılık: basitçe yapabilirsiniz: kıvılcım komutlarını içeren bir dosyayı çalıştıran açısından

<dependency> 
     <groupId>spark</groupId> 
     <artifactId>spark</artifactId> 
     <version>1.2.0</version> 
</dependency> 

echo" 
    import org.apache.spark.sql.* 
    ssc = new SQLContext(sc) 
    ssc.sql("select * from mytable").collect 
" > spark.input 

Şimdi komut komut dosyasını çalıştırın:

Answer 3

olsa da SBT soru için bir çözüm yok Sadece cevap vermek için daha fazla perspektif vermek için

Spark-shell bir scala repel

Sen yazabilirsiniz: scala kabuk içinde mümkündür operasyonun listesini görmek için yardımcı

scala> :help 
All commands can be abbreviated, e.g., :he instead of :help. 
:edit <id>|<line>  edit history 
:help [command]   print this summary or command-specific help 
:history [num]   show the history (optional num is commands to show) 
:h? <string>    search the history 
:imports [name name ...] show import history, identifying sources of names 
:implicits [-v]   show the implicits in scope 
:javap <path|class>  disassemble a file or class name 
:line <id>|<line>  place line(s) at the end of history 
:load <path>    interpret lines in a file 
:paste [-raw] [path]  enter paste mode or paste a file 
:power     enable power user mode 
:quit     exit the interpreter 
:replay [options]  reset the repl and replay all previous commands 
:require <path>   add a jar to the classpath 
:reset [options]   reset the repl to its initial state, forgetting all session entries 
:save <path>    save replayable session to a file 
:sh <command line>  run a shell command (result is implicitly => List[String]) 
:settings <options>  update compiler options, if possible; see reset 
:silent     disable/enable automatic printing of results 
:type [-v] <expr>  display the type of an expression without evaluating it 
:kind [-v] <expr>  display the kind of expression's type 
:warnings    show the suppressed warnings from the most recent line which had any 

: Yük bir görünüşe kullanışlı cevap bir dosyada

Answer 4

yazılır kod çalıştırmak için kullanabileceğiniz üzgün :-)

komut satırında