kıvılcım akışı Ben sürekli Hadoop klasöründen akışlarını oku</p> <p>My programı akışı kıvılcım kullanıyorum

Question

"mv" "cp" hem de çalışır hayranlarıyla benim Hadoop klasöründe (Hadoop fs için kopyalarsanız sorun var mı -copyFromLocal) kıvılcım işi başlar ama eğer hareket edersem (hadoop fs -mv/hadoopsourcePath/*/destinationPath /) işe yaramazsa.

Bu, kıvılcım akışıyla ilgili bir sınırlama mıdır? Can spark streaming pick specific files

Answer 1

kıvılcımla 1.5 çalışır ..it Anladım Ama kimin damgası geçerli zaman damgası eşit dosyaların sadece alır:

ben akışı kıvılcım ile ilgili başka bir soru var. Örnek

için

Sıcaklık Klasör: Dosya f.txt (zaman damgası t1: dosyası oluşturulduğunda)

Kıvılcım Girdi klasörü:/giriş

Bir mv yapmak (Hadoop fs - mv /temp/f.txt/input): Spark,

'u seçmeyecektir Ancak, taşınan dosyanın zaman damgasını değiştirirseniz hareket ettikten sonra, kıvılcım seçer.

https://github.com/apache/spark/blob/master/streaming/src/main/scala/org/apache/spark/streaming/dstream/FileInputDStream.scala

kıvılcım kaynak kodunu kontrol zorunda kaldı.