pyspark python'da mapper kapsamı

Question

değişken dış değişiklikleri inat, ben mesela yapabilirsiniz:

lRet = [] 
llData = [range(3) for i in range(5)] 
def func(l): 
    lRet.append(l[0]) 
    return l 

map(func, llData) 
print(lRet) 

-> [0, 0, 0, 0, 0] 

Şimdi, PySpark benzer bir şey yapmak istiyorum. Nedeni, RDD'mdeki harici bir şeyi, rdd'mdeki verilerden oluşturmam gerektiğidir. aynı şeyi Sağlar:

lRet = [] 
#rddData.collect() is of form llData above 
def func(l): 
    lRet.append(l[0]) 
    return l 

rddData.map(func).collect() 
print lRet 

-> [] 

Ben de sadece yerel pyspark örneğinde bir import pdb; pdb.set_trace() ilk örneği yapıyor lRet dahili olarak lRet izler rağmen değişmeden olmanın aynı sonucu verdiğini fark etmiş.

Herhangi bir fikrin var mı?

Answer 1

Kısa cevap şu ki mümkün değil. Kıvılcım programlaması, paylaşılan değiştirilebilen durumu korumak için gereken araçları kapsamaz. Kodunuzu çalıştırdığınızda, her yürütücü yorumlayıcısı yerel olarak değiştirilen ve daha sonra atılacak olan lRet değişkeninin kendi kopyasını edinir. Katya Handler in the comments Kıvılcım belirtildiği gibi

accumulators sağlar ancak bu salt vardır, eylemler dışında kullanıldığında tutarlı sonuçlar garanti etmez ve sürücü devlet mantığı gibi fold kullanarak görevin başına güncellemedir.

Uzun süren görevleri kullanan ve Spark üzerinde harici senkronizasyon ilkellerini kullanan projeler var ama tamamen farklı bir model.