Genel değişken, her bir çalışanın her bir işlemcisine (RAM içinde) kopyalanır mı?

Question

Diyelim ki büyük rdd var ve global kullanan işlevi uygulamak istiyorum. Sorum şu: Küresel kaç kez kopyalanıyor.

Her çalışanın 4 işlemciye sahip olduğu bir sürücü düğümü ve 2 çalışan düğümüm olduğunu varsayalım. Global değişken 8 kez (her bir çalışan düğümü üzerindeki her işlemci için) kopyalanabilir mi? Rdd'nin sahip olduğu bölümlerin sayısı uygun değildir (8'den az olmamak kaydıyla), doğru mu? Başka bir deyişle, global/paylaşılan veri yapmam 100 MB'lık RAM alırsa, bir çalışanın 4 işlemcisi varsa, belirli bir çalışan üzerinde 400 MB'lık bir RAM alırdı, değil mi? Ben muhtemelen burada broadcast kullanması gerektiğini biliyorum ama ben durumunda ne olup bittiğini anlamalarına emin olmak için çalışıyorum

from pyspark import SparkContext 

sc = SparkContext(appName="myApp) 

my_dict = {"a": 1, "b": 2, "c": 3, "d": 4} # at no point will be modified 

def my_func(letter): 
    return my_dict[letter] 

my_list_rdd = # Make my rdd 

result = my_list_rdd.map(lambda x: my_func(x)) 

# do something with result 

:

ardından

ne bahsediyorum bir sözde codish örnektir globaller.

Answer 1

programming guide

Spark göre otomatik olarak her aşama içinde görevler gerekli ortak verileri yayınlar. Bu şekilde yayınlanan veriler serileştirilmiş biçimde önbelleğe alınır ve her bir görevi çalıştırmadan önce seri hale getirilir.

N kez aktarılmış ve (her bir aktif Python işlemi için bir defa) m kez seriden çıkarılabilir PySpark N çalışanlar ve m bölümleri değişken ayrı Interprètes olarak görevleri yerine yana gelmiştir. Yani PySpark'taki en yüksek bellek kullanımı kabaca size-of-serialized-structure + #python-processes * size-of-deserialized-structure olmalıdır.