2012-03-23 23 views
5

250 milyon kayıt String'i saklamak zorundayım -> String eşleştirmeleri ve bir veritabanı bu tür bir şey için aşırı yüklenme gibi görünüyor.Kendi metin tabanlı veri depolamamı oluştur

Bunu bellekte saklayamam, yığın alanı bitecek. Yığın alanını uzatabilirdim, ama bunu yapmamayı tercih ederim.

Mümkün olduğu kadar tek bir haritalamaya ulaşabildiğim kadar hızlı erişim istiyorum ve bununla ilgili en iyi yolu bilmek istedim.

İlk Dize benzersizdir ve ne arayacağım. Ayrıca, string uzunluğunun uzayacağı aralığı da biliyorum, ancak haritalanmış değeri herhangi bir uzunlukta olabilir.

Arama için bir veritabanı kadar hızlı bir şey almak mümkün mü? Tahmin etmiyorum ama emin olmak istedim.

Java'da çalışıyorum ama bunun dilden bağımsız olacağını düşünüyorum.

+7

, bir veritabanı 'aşırı yük' gibi görünmüyor. Bir db ile gidecektim – franka

+0

Verilerinizi bellekten bir dosyaya taşıdığınız anda hızın daha düşük büyüklükte siparişler olacağını biliyorsunuz, değil mi? – dasblinkenlight

+1

Veritabanı aşırı yüklendiğinde, dosyayı düz dosya sisteminde halledebileceğinizi düşünüyor musunuz? – kosa

cevap

1

Voldemort, CouchDB veya Cassandra gibi mevcut bir anahtar-değer deposunu kullanamaz mısınız? Pek çok mevcut proje var, neden yeni bir tane yazıyor? 250 milyon kayıt için

+0

Bu bir yorum olmalı, bir cevap değil. – David

+0

Peki, bu bir cevaptır - zaten var olan yazılımlar, kullanmaya devam et. –

İlgili konular