Spark Akış Penceresi Çalışması

Question

Aşağıda, 30 saniyenin bir pencere boyutu ve 10 saniyelik slayt boyutu üzerinde kelime sayımı elde etmek için basit bir kod bulunmaktadır.

import org.apache.spark.SparkConf 
import org.apache.spark.streaming._ 
import org.apache.spark.streaming.StreamingContext._ 
import org.apache.spark.api.java.function._ 
import org.apache.spark.streaming.api._ 
import org.apache.spark.storage.StorageLevel 

val ssc = new StreamingContext(sc, Seconds(5)) 

// read from text file 
val lines0 = ssc.textFileStream("test") 
val words0 = lines0.flatMap(_.split(" ")) 

// read from socket 
val lines1 = ssc.socketTextStream("localhost", 9999, StorageLevel.MEMORY_AND_DISK_SER) 
val words1 = lines1.flatMap(_.split(" ")) 

val words = words0.union(words1) 
val wordCounts = words.map((_, 1)).reduceByKeyAndWindow(_ + _, Seconds(30), Seconds(10)) 

wordCounts.print() 
ssc.checkpoint(".") 
ssc.start() 
ssc.awaitTermination() 

Ancak, bu hattan hata alıyorum:

val wordCounts = words.map((_, 1)).reduceByKeyAndWindow(_ + _, Seconds(30), Seconds(10)) 

. Özellikle, _ + _'dan. Hata, sorunun ne olduğunu söyleyebilir mi? Teşekkürler!

Answer 1

Bu, düzeltilmesi son derece kolaydır, sadece türler hakkında açık olun. Bu durumda türünü tahmin edemediği
val wordCounts = words.map((_, 1)).reduceByKeyAndWindow((a:Int,b:Int)=>a+b, Seconds(30), Seconds(10))

nedeni scala this answer