5

Java Spark API kullanarak bir program yazdım. verilerim büyük göz önüne alındığında, aşağıdaki hatayıSpark Amazon EC2 kümesinde Java yığın alanı nasıl artırılır?

java.lang.OutOfMemoryError: Java heap space

Evs üzerinde Kıvılcım EC2 kümenin java yığın alanını artırmak için nasıl bir fikrin var alıyorum? Gerekirse kodum ve küme kurulumum hakkında ayrıntılı bilgi verebilirim. Teşekkürler.

+0

Eğer sorun için hata günlüğünü yayınlayabilir? Başkalarının problemin daha iyi bir görünümünü almasına yardımcı olacaktır. – lighthouse

+0

'Özel işlev" pool-2-thread-3 "java.lang.OutOfMemoryError: java.nio.HeapByteBuffer öğesinde Java yığın alanı . (HeapByteBuffer.java:57) org.apache.spark.network.Message $ .create de java.nio.ByteBuffer.allocate (ByteBuffer.java:331) de (Message.scala: 88) org.apache de .spark.network.ReceivingConnection $ Inbox.org $ apache $ kıvılcım $ ağ $ ReceivingConnection $ Inbox $$ createNewMessage $ 1 (Connection.scala: 438) .... 10 tane daha satır .... ' –

cevap

4

Uygulama jarleri gönderilirken iki bayrak ekleyerek Yığın alanını artırabilirdim.

--executor-memory 10g --driver-memory 2g