Cloudera 5.6 kıvılcım belleğiFraksiyon ayarları

Question

5.6 CDM (yönetici) ile bir CDH 5.6 kümem var.

spark.storage.memoryFaction 
spark.shuffle.memoryFaction 

farklı ayarlar deneyin ve benim örnek uygulama performansını görmek için - Ben kıvılcım memoryfaction ayarlarını yapabilirsiniz nerede emin değilim.

Answer 1

ya kıvılcım içeriği oluşturulurken:

--conf spark.storage.memoryFaction=1 

:

sparkContext = { 
    val conf = new SparkConf() 
     .setAppName("Appname") 
     .set("spark.storage.memoryFaction", "someval") 
    new SparkContext(conf) 
    } 

veya yaparken ekleyerek, kıvılcım göndermek