Kıvılcım kabuğu kullanarak kendi scala paketi nasıl içe aktarılır?

Question

Bundan başka bir sınıf kullanan bir spark-ml kitaplığı için bir sınıf yazdım. Net olmak gerekirse, sınıfım RandomForestClassifier için bir sarıcıdır. Şimdi bu sınıfı kıvılcım kabuklarından ithal etme fırsatına sahip olmak istiyorum.

Soru şu: Bu, kendi sınıfımı içeren paketin, kıvılcım-kabuktan ithal edilebilecek şekilde nasıl yapılmasını sağlar? Çok teşekkürler!

Answer 1

docs okuma: Hello.scala gibi derlenmemiş dosyaları aktarmak istiyorsanız

In the Spark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work. You can set which master the context connects to using the --master argument, and you can add JARs to the classpath by passing a comma-separated list to the --jars argument. You can also add dependencies (e.g. Spark Packages) to your shell session by supplying a comma-separated list of maven coordinates to the --packages argument. Any additional repositories where dependencies might exist (e.g. SonaType) can be passed to the --repositories argument.

Answer 2

, kıvılcım kabuğunda aşağıda yapın:

scala> :load ./src/main/scala/Hello.scala