0
aracılığıyla Spark üzerinde bellek yoğun programı çalıştırılamıyor Spark kullanarak bir programı bir Azure kümesinde karşılaştırmaya çalışıyorum. Bunu daha önce EC2'de çalıştırdık ve 150 GB RAM'in yeterli olduğunu biliyoruz. Yöneticiler için birden fazla kurulum denedim ve 160-180GB RAM verdim ancak ne yaptığımdan bağımsız olarak, programın daha fazla bellek talep etmesi nedeniyle program ölüyor.YARN
Ne yapabilirim? Göz önüne almam gereken daha fazla fırlatma seçeneği var mı, akla gelebilecek tüm yürütücü kurulumlarını denedim ve hiçbir şey çalışmak istemiyor gibi görünüyor. Tamamen kayıptayım.
Bu soru çok geniştir. Önce "program ölür" den daha ayrıntılı bir açıklama yaparak deneyebilirsiniz. Şimdi hangi seçenekleri düşündüğünüzü bile bilmiyoruz. Hangi kıvılcım sürümünü kullanıyorsunuz? Hadoop'un hangi sürümü üzerinde çalışıyorsunuz? Yöneticiler için ne kadar hafıza var? Sürücü mü? – eliasah
@eliasah Sadece çok fazla bilmiyorum, detay bilge gerçekten sadece ölüyor, icracı hafızası hataları var ve sonunda "çok fazla icracı başarısızlığı" na gider. Diğer bilgilere gelince, 1.6.0 kullanıyorum, Hadoop versiyonunun (hangisi HDInsight'ın kullandığı) hiçbir fikri yok. Birden fazla yönetici ayarını denedim, hiçbiri işe yaramıyor. –
Uygulamanızı yürüten gönderme komutunu paylaşabilir misiniz? – eliasah