2B bölümleme şeklinde doldurup bir 78TB HDF5 veri kümesi oluşturmaya çalışıyorum. Yazdığım blok, hiç yazılmamış satırlar olduğu zaman bu çok yavaştır, çünkü HDF5 diskin içine girip ayrılmış ve eksik girişleri sıfır ile doldurmaktadır.h5py kullanarak ilk 5 ile hdf5 veri kümesinin nasıl oluşturulacağını ve h5py kullanarak doldurma
Bunun yerine, h5py'nin oluşturulduğu anda veri kümem için disk alanını ayırmasını ve asla doldurmamasını istiyorum. Bu, the HDF5 Dataset documentation'da Tablo 16'ya göre C api ile mümkündür, ancak bunu h5py ile, tercihen yüksek seviyeli arayüzle nasıl yapabilirim?
Ben Dosyanın oluşturulduğu çizgiyi unuttum bu hemen önce olurdu create_dataset çağrısı: f = h5py.File ('mybigdset.h5', 'w') –
tamam - bunu ekledi. Öneri için –
teşekkürler. Erişimin satır bloklarında yer alacağı bir uygulamada kullanmak için bu dosyayı üretiyorum, bu yüzden yığınlamayı kullanmak istemiyorum. – AatG