Spark 2.0 kıvılcım çıkarması yok

Question

Spark 2.0'ı kullanarak, satırların bir veri çerçevesini vaka sınıflarının bir veri çerçevesine dönüştürmenin mümkün olduğunu görüyorum. Bunu yapmaya çalıştığımda, spark.implicits._ ithal etmek için bir mesajla karşılaştım. Sahip olduğum konu, Intellij'in geçerli bir içe aktarma ifadesi olarak kabul etmemesidir, bunun taşındığını ve mesajın güncellenmediğini veya kurulum ayarlarımda doğru paketlerin bulunmadığını merak ediyorum. spark.implicits denilen hiçbir paket var benim build.sbt

libraryDependencies ++= Seq(
    "org.mongodb.spark" % "mongo-spark-connector_2.11" % "2.0.0-rc0", 
    "org.apache.spark" % "spark-core_2.11" % "2.0.0", 
    "org.apache.spark" % "spark-sql_2.11" % "2.0.0" 
) 

Answer 1

olduğunu.

spark Burada SparkSession anlamına gelir. kodunuzda bir yere kendi SparkSession tanımladıysanız,

import spark.implicits._ 

sonra buna göre ayarlayın: Eğer oturumu zaten spark olarak tanımlanır Repl içeride ise yüzden sadece yazabilirsiniz

val mySpark = SparkSession 
    .builder() 
    .appName("Spark SQL basic example") 
    .config("spark.some.config.option", "some-value") 
    .getOrCreate() 

// For implicit conversions like converting RDDs to DataFrames 
import mySpark.implicits._ 

Answer 2

Spark SparkSession için spark tanımlayıcı kullanıldı. Bu karışıklığa neden olan şeydir. Almak

val ss = SparkSession 
    .builder() 
    .appName("test") 
    .master("local[2]") 
    .getOrCreate() 

doğru yolu, gibi bir şey ile oluşturduysanız implicits

import ss.implicits._ 

bu yardımcı olur bana bildirin, olurdu. Şerefe.