Bir RDD'yi Spark

Question

'da açıkça nasıl etkilenir Bir dosyadan büyük bir veri kümesi okumalı, onu bir Spark matrisine dönüştürmeli ve matriste bazı makine öğrenimi algoritmaları çalıştırmalıyım. Makine öğrenimi algoritmalarının hızını ölçmek istiyorum. Kıvılcım RDD'leri her zaman tembel olarak değerlendirildiğinden, makine öğrenimi algoritmasını karşılaştırmak zordur. Çalışma zamanını ölçtüğümde, giriş dosyasının ayrıştırılması için çalışma zamanını da içerir.

Spark'i bazı RDD'leri somutlaştırmak için zorlamanın bir yolu var mı? Böylece, makine öğrenimi algoritmasını çalıştırmadan önce giriş dosyasını ayrıştırabilir miyim?

sayesinde Da

Answer 1

Genellikle böyle bir şey yapmak: sadece hafızayı sağlamak belleğe sığar aksi takdirde, İşte

val persisted = rdd.persist(...); 

sizin RDD büyüklüğüne bağlıdır - bellek ve disk seviyesi .

Ve sonra: Sonra

persisted.count(); 
// now you can use 'persisted', it's materialized 

ve

yüzden saymak diğer bütün boru hattı dönüşümleri (sizin durumunuzda ml)

bir eylemdir - bu yüzden RDD gerçekleşmesi ve daha önce hiç kalıcı beri - Sonraki aşamaları rdd'yi kalıcı depolamadan alır ve dosyadan değil,