Parallel.ForEach kullanarak bir dosyaya nasıl doğru yazılır?

Question

Büyük bir dosya satırını okuyan, onunla bir mantık oluşturan ve bir dosyaya yazmam gereken bir dize döndüren bir görevim var. Çıkışın sırası önemli değil. Ancak, aşağıdaki kodu denediğimde, dosyamın 15-20k satırlarını okuduktan sonra durur/yavaşlar.

public static Object FileLock = new Object(); 
... 
Parallel.ForEach(System.IO.File.ReadLines(inputFile), (line, _, lineNumber) => 
{ 
    var output = MyComplexMethodReturnsAString(line); 
    lock (FileLock) 
    { 
     using (var file = System.IO.File.AppendText(outputFile)) 
     { 
      file.WriteLine(output); 
     } 
    } 
}); 

Programım neden bir süre çalıştıktan sonra yavaşlıyor? Bu görevi gerçekleştirmenin daha doğru bir yolu var mı?

Answer 1

Tüm ileti dizilerinin dosyaya yazılmasını sağlayarak, sorgunuzu dizileştirdiniz. Bunun yerine, neyin yazılması gerektiğini hesaplamalısınız, sonunda geldikleri gibi yazmalısınız.

var processedLines = File.ReadLines(inputFile).AsParallel() 
    .Select(l => MyComplexMethodReturnsAString(l)); 
File.AppendAllLines(outputFile, processedLines); 

bunu geldiği gibi, veri temizleme akışı açıp (elle veya gömme) oto kızarma etkinleştirmeniz gerekiyorsa: Bu nasıl Parallel.ForEach 'ın iç yük dengeleyici ile ilgisi var

var processedLines = File.ReadLines(inputFile).AsParallel() 
    .Select(l => MyComplexMethodReturnsAString(l)); 
using (var output = File.AppendText(outputFile)) 
{ 
    output.AutoFlush = true; 
    foreach (var processedLine in processedLines) 
     output.WriteLine(processedLine); 
} 

Answer 2

Eserleri. Konularınızın çok fazla zaman harcadığını gördüğü zaman, sorunla ilgili daha fazla iş parçacığı atayarak, FileLock için daha yüksek paralel yüklere, çekişmeye ve genel performans düşüşüne neden olarak işleri hızlandırabilmesinin nedenleri.

neden oluyor? Parallel.ForEach, IO çalışması için kullanılmadığı için.

Bunu nasıl düzeltebilirsiniz? Yalnızca CPU çalışması için Parallel.ForEach kullanın ve tüm IO'yu paralel döngü dışında gerçekleştirin.

Parallel.ForEach(
    System.IO.File.ReadLines(inputFile), 
    new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount }, 
    (line, _, lineNumber) => 
    { 
     ... 
    }