nasıl üçüncü parti deposuna kalıcı gerekiyor ben <code>RDD[Row]</code> sahip bir RDD

Question

, boyutunu bulabilirsiniz. Ancak bu üçüncü taraf depo tek bir aramada maksimum 5 MB kabul eder.

Yani RDD mevcut satır sayısına dayalı RDD mevcut değil veri boyutuna göre bölüm oluşturmak istiyorum.

nasıl buna dayalı bir RDD ve oluşturmak bölümleri boyutunu bulabilirim?

Answer 1

o RDD boyutunu almak doğru değildir bahsettiniz. Bir tahminde bulunabiliriz.

Biz örnek büyüklüğünü elde etmek SizeEstimator kullanmak sonra RDD örneklemek ve edebilirsiniz. diyelim ki, çevrimdışı örneklenmiş boyut verilerine dayanarak Wang ve Justin de belirtildiği gibi, X satırlar çevrimdışı çalışma zamanında Z satırlar Z sürebilir Y GB kullanılan * Y/X GB

İşte

yardımcı olmak üzere örnek scala kodudur RDD'nin boyutu/tahmini.

Scala ve kıvılcım yeniyim. Numune daha iyi bir şekilde

def getTotalSize(rdd: RDD[Row]): Long = { 
    // This can be a parameter 
    val NO_OF_SAMPLE_ROWS = 10l; 
    val totalRows = rdd.count(); 
    var totalSize = 0l 
    if (totalRows > NO_OF_SAMPLE_ROWS) { 
    val sampleRDD = rdd.sample(true, NO_OF_SAMPLE_ROWS) 
    val sampleRDDSize = getRDDSize(sampleRDD) 
    totalSize = sampleRDDSize.*(totalRows)./(NO_OF_SAMPLE_ROWS) 
    } else { 
    // As the RDD is smaller than sample rows count, we can just calculate the total RDD size 
    totalSize = getRDDSize(rdd) 
    } 

    totalSize 
} 

def getRDDSize(rdd: RDD[Row]) : Long = { 
    var rddSize = 0l 
    val rows = rdd.collect() 
    for (i <- 0 until rows.length) { 
     rddSize += SizeEstimator.estimate(rows.apply(i).toSeq.map { value => value.asInstanceOf[AnyRef] }) 
    } 

    rddSize 
} 

Answer 2

Bu tür serileştirme gibi faktörlere bağlı olacak, bu yüzden kesme ve kuru değildir. Bununla birlikte, bir örnek set alabilir ve o örnek veriler üzerinde bazı deneyler yapabilirsiniz, oradan çıkarım.

Answer 3

Tek yalındır yolu tefrika formda veya değil veri depolamak isteyip bağlı olarak aşağıdakileri çağırmak, sonra UI "Depolama" sayfa kıvılcım gidin size toplam boyutunu anlamaya mümkün olmalıdır RDD (bellek + disk): çalışma zamanında doğru bellek boyutunu hesaplamak kolay değildir. Bununla birlikte, çalışma zamanında bir tahminde bulunmayı deneyebilirsiniz: Çevrimdışında örneklenen boyut verilerine dayanarak, X satırını Y GB çevrimdışı kullandığını, çalışma zamanında Z satırlarının Z * Y/X GB alabileceğini; Bu daha önce Justin'in önerdiği gibi.

Bu yardımcı olabilir umarım.

Justin ve Wang gibi

Answer 4

yazılmış olabilir Aşağıda ben RDD.count() RDD