Paketleme istemcisi yan kodu bir RDD'ye geçirmek için

Question

Bir scala işlevi rdd.map()'a geçirilir. Mantık, fonksiyonun kendisine dahil edilmek için çok karmaşıktır ve bunun yerine mantık, bir object skalasında kapsüllenir. Nesne aşağıdaki örnekte olduğu gibi, Spark bağlamı başlatır uygulamanın bir parçasıdır:

soru

def func(s.String) = { 
    // LogicEngine is object which, given a string, returns a different string 
    LogicEngine.process(s) 
} 

val sc = new SparkContext(config) 

val rdd = sc.textFile(“…”) 

val rdd2 = rdd.map(func) 

, kendisi düğüm geçirilir, böylece bu yapmak için doğru bir şekilde ne olduğu ile ilgili rdd'nin kendisi işleniyor (istemcide oturmak yerine, rdd'ye iletilen işlev koduyla birlikte yaşıyor)?

Teşekkürler

Answer 1

Zaten sahip olduğunuz budur. Her bir düğüm, ilk erişildiğinde kendi kopyası olan 'u başlatacak ve kullanacaktır.