Paralel veri işlemede kullanılacak sıra türü - C# - .NET 4

Question

Senaryo: Veri, zaman damgalarıyla birlikte veritabanına yazılır ve yazılır. Ham verileri, zaman damgasına göre alınan sıraya göre işlemek ve veritabanına, farklı tabloya geri yazıp, zaman damgasını temel alarak siparişi sürdürmem gerekiyor.

Aşağıdaki tasarıma geldim: Biri veritabanından ham veri depolamak için, diğeri DB'ye yazılmadan önce işlenmiş verileri depolamak için iki tane kuyruk oluşturuldu. İki iş parçacığım var; biri İlk sırasına göre okuyor ve Sonuç kuyruğundan başka bir okuma yapıyorum. Aralarında ilk sıradaki verileri işlemek ve Sonuç kuyruğuna yazmak için birden fazla iş parçacığı üretiyorum.

SortedList (el ile kilitleme) ve BlockingCollection ile denemeler yaptım. Paralel olarak işlemek için iki yaklaşım kullandım: Parallel.For (ForEach) ve TaskFactory.Task.StartNew. Her bir birim veri, birkaç faktöre bağlı olarak işlemek için değişken bir süre alabilir. Bir iş parçacığı yine de ilk veri noktasını işleyebilirken, diğer iş parçacıkları her biri üç veya dört veri noktasıyla yapılır, zaman damgası sırasını karıştırır.

Son zamanlarda OrderingPartitioner hakkında bilgi edindim ve sorunun çözüleceğini düşündüm, ancak MSDNs örneğini izledikten sonra, alttaki koleksiyonu da ayırmadığını görebiliyorum. Karmaşık veri türleri koleksiyonumu sipariş etmek için özel bölümleyici kullanmam gerekebilir mi? veya problemi çözmenin daha iyi bir yolu olabilir mi?

Benzer sorunu tartışan makalelere yönelik herhangi bir öneri ve/veya bağlantı çok takdir edilmektedir.

Answer 1

Şahsen, en azından giriş için BlockingCollection<T> ve sonuçlar için bir ConcurrentQueue<T> örneğini kullanarak başlamak çalışacaktı.

Sonuçları işlemek için Paralel Linq kullanırım. İşleminiz sırasında siparişi korumak için, PLINQ ifadesinde AsOrdered()'u kullanabilirsiniz.

Answer 2

PLINQ ve AsOrdered() kabul ettiniz mi? Elde etmeye çalıştığınız şey için yararlı olabilir. http://msdn.microsoft.com/en-us/library/dd460719.aspx

Answer 3

Belki bunları kabul ettik

, ama ...

sadece tüm işlem parçacığı sonra veritabanında sipariş veritabanına zaman damgası geçmek ve sonra da izin veritabanı sıralama yapmak veya düzeltemez Neden

var iade? sql deyimlerinin sırayla yürütülmesi için var mı?

PLINQ harika ama iş parçacığı senkronizasyon gereksinimlerinden kaçınmaya çalışabilir ve eğer yapabiliyorsanız veritabanına daha fazla sipariş verisini iletirim.