Groovy sql veri kümesi java.lang.OutOfMemory neden olur

Question

252759 tuples içeren bir tablom var. Hayatımı kolaylaştırmak için DataSet nesnesini kullanmak istiyorum, ancak tablom için bir DataSet oluşturmaya çalıştığımda, 3 saniye sonra java.lang.OutOfMemory alıyorum.

Veri kümeleriyle ilgili deneyimim yok, büyük tablolar için DataSet nesnesinin nasıl kullanılacağı konusunda yönergeler var mı?

Answer 1

JVM daha fazla bellek vermeyle neden başlamıyorsunuz?

java -Xms<initial heap size> -Xmx<maximum heap size> 

252759 tuples şey gibi 4GB RAM + bellekte başa çıkamayan bazı sanal bellek ile bir maching gelmiyor.

Answer 2

Tüm satırları bir kerede almanız gerekiyor mu? Aksi takdirde, aşağıda gösterilen yaklaşımı kullanarak bunları (örneğin) 10000'lük gruplar halinde geri alabilirsiniz.

def db = [url:'jdbc:hsqldb:mem:testDB', user:'sa', password:'', driver:'org.hsqldb.jdbcDriver'] 

def sql = Sql.newInstance(db.url, db.user, db.password, db.driver) 
String query = "SELECT * FROM my_table WHERE id > ? ORDER BY id limit 10000" 

Integer maxId = 0 

// Closure that executes the query and returns true if some rows were processed 
Closure executeQuery = { 

    def oldMaxId = maxId 
    sql.eachRow(query, [maxId]) { row -> 

     // Code to process each row goes here..... 
     maxId = row.id 
    } 
    return maxId != oldMaxId 
} 


while (executeQuery()); 

AFAIK limit MySQL özgü bir özellik, ancak çoğu diğer RDBMS bir sorgu ile satır sayısını sınırlar eşdeğer bir özellik. Ayrıca, yukarıdaki kodu test etmedim (hatta derlemedim), bu yüzden dikkatle ele almayın!!