Java - büyük miktarda String dizisini verimli bir şekilde depolamak

Question

Büyük CSV formatlı dosyaları (genellikle 200-600mb) verimli bir şekilde Java (daha az bellek ve mümkün olan en hızlı erişim) ile yüklemeye çalışıyorum. Şu anda, program Dize Dizileri Listesi kullanıyor. Bu işlem daha önce her bir CSV satırı için bir tablo ve her bir "satır" tablosunu tutan bir tablo kullanılarak bir Lua programıyla işlenmiştir. Aşağıda

bellek farklılıklar ve yükleme süreleri bir örnektir:

• CSV Dosya - 232mb
• Lua - bellekte 1,378mb - - 157 saniye
• Java yüklemek için - bellekte 549mb 12 yüklenecek saniye

Doğru hatırlıyorsam, bir Lua tablosundaki öğeleri çoğaltmak, gerçek değere referans olarak bulunur. Java örneğinden şüpheleniyorum, Liste her bir yinelenen değerin ayrı kopyalarını tutuyor ve daha büyük bellek kullanımıyla ilgili olabilir. Aşağıda

CSV dosyaları elde edilen verilerle ilgili bazı arka plan: Her satır içinde

Belli alanlar Strings (Örn alanında bir dizi birini içerebilir Her alan bir dize oluşur

• 3 olabilir "kırmızı", "yeşil" veya "mavi").
• İçerik içinde çoğaltması olan çoğaltması var. Aşağıda

yüklenen verilerin gerekebilir bazı örnekler şunlardır: Belirli bir dize ile eşleşen ve bir GUI eşleşen dizeleri

Ekran eşleşmeleri dönmeye çalışan tüm Strings aracılığıyla

• Arama tablo (alanlara göre sıralama).
• Dizeleri değiştirin veya değiştirin.

Soruma Soru: Verileri tutmak için daha az bellek gerektiren, ancak yine de verileri kolay ve hızlı bir şekilde arama/sıralama yapabilecek özellikler sunan bir koleksiyon var mı?

Answer 1

Belki bu makalede bazı yardımcı olabilir: sadece bir yan not olarak

http://www.javamex.com/tutorials/memory/string_saving_memory.shtml

Answer 2

Bellek sorununuzu en iyi duruma getirmek için, özellikle çok fazla kopyası olan alanlar için Flyweight modelini kullanmanızı öneriyorum.

Koleksiyon olarak bir TreeSet veya TreeMap kullanabilirsiniz. Eğer LineItem sınıfa iyi bir uygulama verirsen

bellek çok kullanmak optimize edebilirsiniz (equals, hashcode ve Comparable uygulamak).

Answer 3

DAWG

bir asiklik kelime grafik kelime saklamak için en etkili yolu (bellek tüketimi için en iyi durumda) olan yöneliktir.

Fakat muhtemelen burada aşırı miktarda olmadığından, diğerleri çoğaltmaları oluşturmadığı için aynı örneğe birden çok başvuruda bulunun.

Answer 4

.

Yinelenen dize verileri için şüphe duymanıza gerek yok, çünkü java'nın kendisi de tüm dizeler kesin ve tüm referanslar aynı nesneyi bellekte hedefliyor.

lua işi yapar, ancak java o

Answer 5

biri kolay çözüm ayrıca oldukça verimli nasıl olması gerektiğini çok emin değilim. Tüm benzersiz dizelere referanslar koyabileceğiniz için HashMap'a sahip olabilirsiniz. Ve ArrayList içinde, HashMap'daki mevcut benzersiz dizelere başvurmanız yeterlidir.

şey gibi:

private HashMap<String, String> hashMap = new HashMap<String, String>(); 

public String getUniqueString(String ns) { 
    String oldValue = hashMap.get(ns); 
    if (oldValue != null) { //I suppose there will be no null strings inside csv 
    return oldValue; 
    }   
    hashMap.put(ns, ns); 
    return ns; 
} 

Basit kullanımı: Eğer bu sütunu 3 biliyorsanız

List<String> s = Arrays.asList("Pera", "Zdera", "Pera", "Kobac", "Pera", "Zdera", "rus"); 
List<String> finS = new ArrayList<String>(); 
for (String er : s) { 
    String ns = a.getUniqueString(er); 
    finS.add(ns); 
}