2009-07-24 16 views
5

Yığın halindeki veri kümeleriyle ilgili HDF5'in performansını değerlendiriyoruz. Özellikle farklı bitişik parçalar arasında okunmanın mümkün olup olmadığını ve performansın nasıl etkilendiğini anlamaya çalışıyoruz? E.g. 10'luk yığın büyüklüğüne sahip bir veri kümesine, 100 değer içeren bir veri kümesine sahibiz ve değerleri 23'ten 48'e kadar okumak istiyoruz. Büyük bir performans kaybı olacak mı?Chunked HDF5 DataSet ve slabsize

Çok teşekkürler!

cevap

3

Sorunuzu özellikle nasıl yanıtlayacağımı bilmiyorum, ancak size 1024 (veya ikiden yüksek) bir yığın boyutu kullanmanızı öneririm. HDF5'in içeriklerini bilmiyorum, fakat dosya sistemlerinden bildiğim kadarıyla ve yaptığımız kaba bir kıyaslamadan, 1024 doğruydu.

+0

Cevabınız için çok teşekkürler! Chunk boyutunun kendisinin önemli bir performans faktörü olduğunu daha önce gözlemledim. Bahsettiğiniz gibi,> 1000'lik bir yığın boyutu iyi bir başlangıç ​​noktasıdır. Anlamaya çalıştığım, farklı yığınlardan gelen bitişik verileri okurken performansın nasıl etkilendiğidir. Fakat korkarım ki bu, somut olarak cevaplanamayan bir sorudur. Bu yüzden birkaç kriter gerçekleştirmeliyiz. – usac

İlgili konular