pyspark arabelleğinde RDD'yi topla

Question

Satırları gerektiğinde yerel olarak toplayabilmem için satırları RDD birimimden tek seferde (veya küçük gruplar halinde) döndürmek istiyorum. RDD'm, isim düğümünde belleğe sığamayacak kadar büyük, bu nedenle collect()'un çalıştırılması bir hataya neden olabilir.

collect() işlemini yeniden oluşturmak için bir yol var mı, ancak bir jeneratör ile RDD satırları bir arabelleğe geçirilir? Başka bir seçenek, önbelleğe alınmış bir RDD'den gelen bir zamanda take() 100000 satırları olacaktır, ancak take()'un bir başlangıç ​​konumu belirlemenize olanak sağladığını düşünmüyorum?

Answer 1

Mevcut en iyi seçenek, o anda yalnızca tek bir bölüm toplayan RDD.toLocalIterator kullanmaktır.

rdd = sc.parallelize(range(100000)) 
iterator = rdd.toLocalIterator() 
type(iterator) 

## generator 

even = (x for x in iterator if not x % 2) 

Belirli bir bölümleyici kullanarak ve bir takım bölümlerden ayarlayarak tek partide toplanan verilerin miktarını ayarlayabilirsiniz: Bu standart Python jeneratörü oluşturur.

Maalesef bir fiyatla geliyor. Küçük partileri toplamak için birden fazla Spark işini başlatmanız gerekir ve bu oldukça pahalıdır. Yani genellikle o zaman bir elementi toplamanın bir seçeneği söz konusu değildir.