Linq sorgu listesi bellek kullanımı

Question

Merhaba dost geliştiriciler,

Bir Linq sorgusunu kullanarak, Oracle veritabanında BLOB biçiminde depolanan XML nesneleri listesi ihracatını geliştirmek için çalışıyorum.

Ne yazık ki, BLOB'lardan biri oldukça büyük ve bellek kullanımı okurken 2 GB'a kadar büyüyor. Benim fileSet nesnesinin bir IQueryable<myRecord> nesnesi. Ben

foreach (var file in fileSet){...} 

ve

var files = fileSet.ToList(); //This time the list is causing the memory load. 
foreach(file in files){...} 

ve

var e = fileSet.AsEnumerable().GetEnumerator(); 
while(e.MoveNext()){...} 

çalıştı Ama her zaman koç kullanıldığı konusunda bir listede büyük rekor çarptı. Dışa aktarımın oluşturulması için Buffer.BlockCopy'u kullanarak bazı kodları arıyordum, ancak bellek kullanımı nedeniyle bellek kullanımının azaltılması veya her blobun tembel yükünün nasıl kaldırılacağı hakkında bir fikriniz varsa, bu yönde daha fazla bir noktaya gerek yok.

Answer 1

Sonunda linq ile hafızada hafif bir şey elde edemediğim için, linq ile dosyanın kimliğini aldıktan sonra, xml dosyasını akışlandırmak için OracleCommand kullandım.

using (var reader = cmd.ExecuteReader()) 
{ 
    while (reader.Read()) 
    { 
     var blob = reader.GetOracleLob(0); 
     var buffer = new byte[128]; 
     using (var fs = new FileStream(fileName, FileMode.Create, FileAccess.Write, FileShare.Write)) 
     { 
      blob.CopyTo(fs); 
     } 
    } 
} 

Answer 2

Birkaç çözüm var: 1) AsNoTracking() öğesini sorgunuza ekleyin. kayıtları veritabanı bağlamında önbelleğe olmayacak çünkü

fileSet.AsNoTracking() or fileSet.AsNoTracking().Where(...) 

AsNoTracking() serbest kayıtlarına çöp toplayıcısı yardımcı olur. Ama bildiğiniz gibi hemen harekete geçmez, tüketilen hafızada hala yerel bir artış olabilir. 2) Kaydınızın blob alanını içermeyen ve dosyaların listesini almayan ya da seçime yardımcı olabilecek bir ifade kullanarak kayıtlarınızın ayrı bir tanımını oluşturabilirsiniz, ancak bunun nasıl yapıldığını sql'ye nasıl çevirdiğinizi kontrol etmeniz gerekir.

fileSet.AsNoTracking().Select(x=>new { x.Id, x.Name }) 

Sonra bir damla olsun açıkça olacak her kaydını işleme

var myblob = model.Database 
    .SqlQuery<string>("select myblob from mytable where id=@id", 
     new SqlParameter("@id", System.Data.SqlDbType.Int) { Value = myId }) 
    .FirstOrDefault(); 

veya

var myBlob = fileSet 
     .AsNoTracking() 
     .Select(x=>new { x.Blob) 
     .FirstOrDefault(x=>x.ConfigId=myId);