Büyük bir dosya sözcüklere nasıl bölünür?

Question

Metin dosyasından çok uzun bir dizeyi nasıl okuyabilirim ve sonra işleyebilirim (sözcüklere bölünür)?

StreamReader.ReadLine() yöntemini denedim, ancak bir OutOfMemory istisnası alıyorum. Görünüşe göre, hatlarım çok uzun.

using (var streamReader = File.OpenText(_filePath)) 
    { 

     int lineNumber = 1; 
     string currentString = String.Empty; 
     while ((currentString = streamReader.ReadLine()) != null) 
     { 

      ProcessString(currentString, lineNumber); 
      Console.WriteLine("Line {0}", lineNumber); 
      lineNumber++; 
     } 
    } 

Ve kelimelere hat böler kodu: Bit boyutu bölüme

var wordPattern = @"\w+"; 
var matchCollection = Regex.Matches(text, wordPattern); 
var words = (from Match word in matchCollection 
      select word.Value.ToLowerInvariant()).ToList(); 

Answer 1

sen giderken aynı anda tüm dosyayı okumak zorunda kalmamak Bunu ertelenmiş yapmak yield kullanarak kelimeleri bina, Char tarafından okuyabilir: Kod dosyayı okur

private static IEnumerable<string> ReadWords(string filename) 
{ 
    using (var reader = new StreamReader(filename)) 
    { 
     var builder = new StringBuilder(); 

     while (!reader.EndOfStream) 
     { 
      char c = (char)reader.Read(); 

      // Mimics regex /w/ - almost. 
      if (char.IsLetterOrDigit(c) || c == '_') 
      { 
       builder.Append(c); 
      } 
      else 
      { 
       if (builder.Length > 0) 
       { 
        yield return builder.ToString(); 
        builder.Clear(); 
       } 
      } 
     } 

     yield return builder.ToString(); 
    } 
} 

karakter ve kelime olmayan bir karakterle karşılaştığında, o zamana kadar oluşturulmuş sözcük (yield return) (yalnızca ilk harf olmayan karakter için) olacaktır. Kod, kelime dizgisini oluşturmak için StringBuilder kullanır.

Char.IsLetterOrDigit(), karakterler için the regex word character w gibi davranır, ancak alt çizgiler (diğerleri arasında) da ikinci kategoriye girer. Girişiniz de eklemek istediğiniz daha fazla karakter içeriyorsa, if()'u değiştirmeniz gerekir.

Answer 2

Kesim bunu Bu benim okuma dosyası için kodudur. Bu yüzden, bir sayfanın boyutuyla ilgili olduğuna inandığım 4gb'yi okumak yerine, 8 500mb'lik parçaları okumaya çalışın ve bu yardımcı olacaktır.

Answer 3

Çöp toplama bir çözüm olabilir. Sorun kaynağı olduğundan emin değilim. Ancak durum böyle ise, basit bir GC.Collect çoğu zaman yetersizdir ve performans sebebi için sadece gerçekten gerekli olduğunda çağrılmalıdır. Kullanılabilir bellek çok düşük olduğunda (yordam parametresi olarak sağlanan eşiğin altında) çöp çağıran aşağıdaki yordamı deneyin.

int charReadSinceLastMemCheck = 0 ; 
using (var streamReader = File.OpenText(_filePath)) 
{ 

    int lineNumber = 1; 
    string currentString = String.Empty; 
    while ((currentString = streamReader.ReadLine()) != null) 
    { 

     ProcessString(currentString, lineNumber); 
     Console.WriteLine("Line {0}", lineNumber); 
     lineNumber++; 
     totalRead+=currentString.Length ; 
     if (charReadSinceLastMemCheck>1000000) 
     { // Check memory left every Mb read, and collect garbage if required 
      CollectGarbage(100) ; 
      charReadSinceLastMemCheck=0 ; 
     } 
    } 
} 


internal static void CollectGarbage(int SizeToAllocateInMo) 
{ 
     long [,] TheArray ; 
     try { TheArray =new long[SizeToAllocateInMo,125000]; }low function 
     catch { TheArray=null ; GC.Collect() ; GC.WaitForPendingFinalizers() ; GC.Collect() ; } 
     TheArray=null ; 
}