Dosyaya önbellekleme sorunu için büyük veri yazın

Question

Bir dosyaya büyük miktarda veri < 2GB yazdığımda bir sorunum var. İlk ~ 1.4GB veri kodun gerçekten yavaş (0-2 MB/s) daha hızlı (100 MB/s) yazılmıştır.

Kodum (basitleştirilmiş) 'dir:

//FileOptions FILE_FLAG_NO_BUFFERING = (FileOptions)0x20000000; 
    FileOptions fileOptions = FileOptions.SequentialScan; 

    int fileBufferSize = 1024 * 1024; 
    byte[] Buffer = new byte[32768]; 

    Random random = new Random(); 
    long fileSize = 2588490188; 
    long totalByteWritten = 0; 

    using (FileStream fs = File.Create(@"c:\test\test.bin", fileBufferSize, fileOptions)) 
    { 
     while (totalByteWritten < fileSize) 
     { 
      random.NextBytes(Buffer); 
      fs.Write(Buffer, 0, Buffer.Length); 
      totalByteWritten += Buffer.Length; 
      //Thread.Sleep(10); 
     } 
    } 

Orada düşünüyorum RAM kullanımı durağı artırmak için ne zaman "hızlı yazma performansı" RAM yanı artış kullanılan sırasında aslında, önbelleğe alma sorunla ilgili bir konudur performans düşüşüdür.

denedim Ne:

• değişim zaman uyumsuz yazma için -> hiçbir anlamlı

• değişikliği fileBufferSize değiştirmek -> hiçbir anlamlı değişiklik dizisi tampon boyutu

• değiştirmek - > önemli bir değişiklik yok, ancak büyük bir arabellekle ~ 100MB, yazma performansı hızlı ve RAM kullanımı durduğunda, yazma p performansı alabilirsiniz 0'a gider ve bir süre sonra geri 100MB gider yerine, ön arabellek

• değişiklik fileOption-WriteThrough "kızarmış" olduğunu dikişler -> performans her zaman yavaş ..

• sonra ekleme xx fs.Flush(true) döngüler -> hiçbir anlamlı bir değişiklik

• yorumsuz Thread.Sleep(10) -> yazma hızı ..... bu garip her zaman iyidir edilir

Answer 1

Bir şekilde bir önceki parçayı yazmayı ve dağınıklıktan önce yazmayı deniyor mu? (olası görünmüyor, ancak Thread.Sleep'un bunu hızlandırması çok garip ve bunu açıklayabilir). Bu gibi filestream'i kilitlemek için kullanma ifadesinin içindeki kodu değiştirirseniz ne olur?

using (FileStream fs = File.Create(@"c:\testing\test.bin", fileBufferSize, fileOptions)) 
{ 
    while (fs.Position < fileBufferSize) 
    { 
    lock(fs) // this is the bit I have added to try to speed it up 
    { 
     random.NextBytes(Buffer); 
     fs.Write(Buffer, 0, Buffer.Length); 
    } 
    } 
} 

DÜZENLEME: Ben doğru boyuttaki bir dosyayı yazma yapmak için gereken süre döngü içerecek şekilde örnek kod uğraştık.

Tesadüfen, örnek kodu çalıştırdığımda, lock bildirimi olsun veya olmasın çok hızlıdır ve uyku eklemek önemli ölçüde yavaşlatır.