Oku Büyük TXT Dosyası, Bellek İstisna dışında

Question

Ben ancak hafıza İstisna dışına atmak

var file = new StreamReader(_filePath).ReadToEnd(); 
var lines = file.Split(new[] { '\n' }); 

kullanmak 500 MB, İlk olan büyük TXT dosya boyutunu okumak istiyorum o zaman satır satır okumaya çalıştım ama yine yaklaşık 1,5 milyon satırları okuduktan sonra bellek İstisna

using (StreamReader r = new StreamReader(_filePath)) 
     {    
      while ((line = r.ReadLine()) != null)    
       _lines.Add(line);    
     } 

dışarı atmak ya da ben

foreach (var l in File.ReadLines(_filePath)) 
      { 
       _lines.Add(l); 
      } 

kullanılan

ama Yine

türü 'System.OutOfMemoryException' mscorlib.dll oluştu bir durum aldı ama

My Makine bunun böylece ram 8GB ile güçlü bir makinedir kullanıcı kodu işlenmedi benim makine problemim olmamalı.

p.s: Bu dosyayı NotePadd ++ 'da açmaya çalıştım ve' dosya açılmayacak kadar büyük 'bir istisna aldım.

Answer 1

Yalnızca IEnumerable<string> değerini döndüren File.ReadLines kullanın ve tüm satırları bir kerede belleğe yüklemez.

foreach (var line in File.ReadLines(_filePath)) 
{ 
    //Don't put "line" into a list or collection. 
    //Just make your processing on it. 
} 

Answer 2

Özel durumun nedeni, _lines koleksiyonunu büyütmekle birlikte büyük dosya okumamak gibi görünüyor. Satırı okuyorsunuz ve adding to some collection _lines which will be taking memory and causing out of memory execption. Sadece gerekli satırları _lines koleksiyonuna koymak için filtreler uygulayabilirsiniz.

Answer 3

Düzenleme: bellekteki dosyanın tamamını yükleyerek

nesneler büyümeye neden olacak ve bunun bir nesne için yeterli bitişik bellek ayrılamıyor eğer .net OOM istisnalar atar.

Yanıt hala aynıdır, dosyayı akışa almanız gerekir, içeriğin tamamını okumazsınız. Bu, uygulamanızın yeniden çalıştırılmasını gerektirebilir, ancak IEnumerable<> yöntemlerini kullanarak, iş süreçlerini uygulamaların farklı alanlarında biriktirebilir ve işlemleri erteleyebilirsiniz.

---

8GB RAM ile "güçlü" makine

8. daha büyük 500 gibi, bellekte 500GB dosyasını depolamak mümkün olmayacak (artı işletim sistemi olarak 8 alamadım bazı tutuyor olacak, tüm bellek atayamazsınız. Net, 32-bit bir 2GB sınırına sahip, dosyayı açarak ve depolamayı saklamak veriyi iki kez tutacak, bir nesne boyutu yükü vardır ....)

Tüm işlemi işlemek için belleğe yükleyemezsiniz, dosyayı işlemeniz sırasında yürütmeniz gerekir.