0
12 toplam çekirdek ve 44 GB bellek içeren 3 düğümlü küçük bir kümem var. Hdfs (5 mb) 'dan küçük bir metin dosyası okuyor ve üzerinde çalışan kmeans algoritması var. Yöneticilerin sayısını 3'e ayarlıyorum ve metin dosyamı üç bölüm halinde bölümlere ayırdım. Uygulama UI'si, yalnızca yöneticilerinden birinin tüm görevleri çalıştırdığını gösterir. İşte uygulama GUI enter image description here ekran görüntüsüdür Ve burada İşler UI: diğerleri boşta iken benim görevler hepsi tek uygulamakla çalışan neden enter image description here birileri beni anlamaya yardımcı olabilir misiniz? Teşekkürler. Dosyanızı 12 bölüme ayırmaya çalışın.kıvılcım bağımsız kümesi, bir çalıştırıcıda çalışan iş
Bu kadar büyük bir veri tabanı ve küçük küme için neden böyle bir yazılım yığını kullanıyorsunuz? –
Sadece, kıvılcım kodunun verilerin küçük bir alt kümesinde doğru şekilde çalışıp çalışmadığını ve daha büyük bir veri üzerinde çalıştırıp çalıştırmayacağını görmek istiyorum. –
Aslında araştırma için bir çeşit varyasyon çalışıyorum. Sadece kıvılcım kodunun verilerin küçük bir alt kümesinde doğru şekilde çalışıp çalışmadığını ve daha büyük bir veri üzerinde çalıştırıp çalıştırmayacağını test etmek istiyorum. Uygulamamın neden bu kadar çok iş yarattığını anlayamadım. Ama şimdi bunun hakkında daha fazla düşünürüm, algoritmamın asla yakınlaşmayacağını ve dolayısıyla kıvılcımın çok küçük işler yaratmasına neden olduğunu düşünüyorum. İş çok küçük olduğu için, işi yalnızca bir yürütücüde çalıştırıyor. Yardımın için teşekkürler. –