Görev veri bölgesi NO_PREF. Ne zaman kullanılır?</p> <ul> <li>PROCESS_LOCAL HERHANGİ</li> <li>NODE_LOCAL</li> <li>NO_PREF</li> <li>RACK_LOCAL</li> <li></li> </ul> <p>Hepsi oldukça açıktır: doc Spark göre

Question

, veri mahallin 5 seviyeleri vardır bana göre NO_PREF (Spark doc: "veri eşit olarak hızlı bir şekilde herhangi birinden erişilebilir Burada ve hiçbir yerellik tercihi yoktur. ")

Kullanılacak NO_PREF durumu nedir?

Answer 1

RDD özelliklerinden biri tercih edilen konumlardır. Örneğin, RDD kaynağı bir HDFS dosyasıysa, tercih edilen konum, verilerin fiziksel olarak bulunduğu veri düğümleri içermelidir. Ancak verilerin nereden geldiği konusunda bir fark yoksa veya Spark tercih edilen yerleri belirleyemiyorsa, Spark, bu tür RDD'leri işlerken NO_PREF olarak ayarlanan veri lokasyonu ile görevler oluşturur.