kıvılcımı mongodb

Question

'dan okunmuştur kıvılcım ile mongodb okumak için daha iyi bir seçenek var mı? Şu anda ben https://github.com/Stratio/Spark-MongoDB

ben çok fazla veri başlangıçta taranır çünkü

val mongoRDD = sql.fromMongoDB(mongoConfigurationData) 
    mongoRDD.registerTempTable("myTable") 

çok yavaş doğru olduğunu anladınız mı kullanıyor? o

sql.sql("CREATE TEMPORARY TABLE myTable USING mongoConfigurationData)") seems to be slower? 

Answer 1

Sen SparkConf ve SparkContext

import org.apache.spark.sql.{DataFrame, SQLContext} 

Basitçe MongoDB ile url yerine unity JDBC ve MongoDB Java Driver

import mongodb.jdbc.MongoDriver 

İthalat iki sınıfları kullanarak MongoDB gelen okuyabileceği olabilir nasıl url. Veri çerçevesini oluşturmak istediğiniz tablonun ismi ile dbtable. db2 veritabanı sunucunuzun kullanıcı ve şifresini değiştirin.

val url = "jdbc:mongo://ds045252.mlab.com:45252/samplemongodb" 
val dbtable = "Photos" 
val user = "charles2588" 
val password = "*****" 
val options = scala.collection.Map("url" -> url,"driver" -> "mongodb.jdbc.MongoDriver","dbtable" ->dbtable,"user"->user,"password"->password) 

Şimdi DB2 sürücüsü

val sqlContext = new SQLContext(sc) 

oluşturmak için tablo için

val dataFrameReader = sqlContext.read.format("jdbc").options(options) 

Çağrısı yük yöntemi SqlContext bir dataframereader oluşturun yüklendikten Yeni Spark Bağlam yeni SqlContext oluşturmak Masanız için DataFrame.

val tableDataFrame = dataFrameReader.load() 

Çağrı gösterisi() metodu tablo içeriğini

gösterilecek

tableDataFrame.show() 

Ref: http://bigdataauthority.blogspot.com/2016/03/connecting-to-mongodb-from-ibm-bluemix.html

sayesinde

Charles.