RDD'nin önbelleği nasıl kaldırılır?

Ben bellekte veriyi önbelleğe cache() kullanılan ama bellekten verileri kaldırmak için Önbellekten gerekir önbelleğe alınan veriler olmadan performansını görmek için gerçekleştirilen:RDD'nin önbelleği nasıl kaldırılır?

rdd.cache(); 
//doing some computation 
... 
rdd.uncache()

ama got hata ki:

değer Önbellekten org.apache.spark.rdd.RDD üyesi [(Int, Array [Float])] değil

sonra Önbellekten Kaldır nasıl bilmiyorum!

kaynak

2014-09-19 Rubbic

unpersist() (source) 'ı kullanmayı deneyin.

kaynak

2014-09-19 16:48:20

RDD_Name.unpersist() haklısın seni çok @Josh – Rubbic

Önbellek işlevi mevcut değil. Bence dağınık değil. Spark ScalaDoc uyarınca, RDD'yi kalıcı olmayan olarak işaretleyin ve bunun için tüm blokları bellek ve diskten kaldırın.

kaynak

2014-09-19 16:49:28 eliasah

Teşekkür ederiz. Josh'un dediği şeyi denedim ve işe yaramış gibi görünüyor! – Rubbic

Sorun değil. Tam olarak aynı cevap. ;) – eliasah

Cevapları birleştirmek ve birini kaldırmak oldukça yararlı olur. Ne düşünüyorsun? –

Kaynak verilerini RDD numaralı telefondan .cache() kullanarak önbelleğe alırsanız veya küçük bellek bildirmişseniz. veya varsayılan bellek kullanılır ve benim için yaklaşık 500 MB. ve kodu yeniden çalıştırıyorsunuz,

Ardından bu hata oluşur. Kodun sonunda tüm RDD temizlemeye çalışın, böylece kod her çalıştırıldığında, RDD oluşturulur ve ayrıca bellekten temizlenir.

kullanarak yapın:

kaynak

2016-04-02 20:46:37

RDD'nin önbelleği nasıl kaldırılır?

cevap

İlgili konular