akışı kıvılcımla cassandra en yeni verileri aktarın.Ben sürekli veri bir dış kaynaktan cassandra yazıldığını gelmiş
val cassandraRDD = ssc.cassandraTable("keyspace2", "feeds")
tüm tablo verilerini alır:
val ssc = new StreamingContext(sc, Seconds(5))
val cassandraRDD = ssc.cassandraTable("keyspace2", "feeds")
val dstream = new ConstantInputDStream(ssc, cassandraRDD)
dstream.foreachRDD { rdd =>
println("\n"+rdd.count())
}
ssc.start()
ssc.awaitTermination()
sc.stop()
Ancak aşağıdaki satırı: Artık
, ben sürekli aşağıdaki kodla cassandra bu verileri okumak için kıvılcım akışı kullanıyorum cassandra'dan her seferinde. Şimdi sadece masaya kaydedilen en yeni veri. Yapmak istediğim ne
kıvılcım yani sadece son verileri, bir önceki okuma sonra eklenen veri okumak akışınız var olduğunu.
Bunu nasıl başarabiliriz? Bunu Google’a denedim, ancak bununla ilgili çok az doküman aldım.
spark 1.4.1, scala 2.10.4 ve cassandra 2.1.12 kullanıyorum.
Teşekkürler!
DÜZENLEME: kıvılcım akışı ve Cassandrayı bağlayan anlatıyor ve bu soru yalnızca en son verileri akışı hakkında çünkü
(bana sorduğu) önerilen yinelenen soru yinelenen DEĞİLDİR. BTW, cassandra'dan aktarım sağladığım kodu kullanarak mümkün. Ancak, tüm tabloyu her zaman alır ve sadece en yeni verileri değil.
Olası kopyalar [nasıl Cassandra gelen akış kıvılcım cassandra ile akış bağlamak?] (http://stackoverflow.com/questions/34993290/how-to-connect-spark-streaming-with-cassandra) – maasg
anda mümkün değildir. Şuna bakın: http://stackoverflow.com/questions/34993290/how-to-connect-spark-streaming-with-cassandra – maasg
ha. Sadece bu soruyu sorduğun sen olduğunu fark ettim. Cevap henüz değişmedi, korkarım. – maasg