Bir panda veri karesini dosyaya kaydetmek için bcolz kullanmak istiyorum. Bundan sonrapandalar veri çerçevesini bcolz kullanarak dosyaya kaydetme
, ct sıkıştırılmış dataframe içeriyor ancak bunun dosyaya kaydedebilirsiniz nasıl bulamıyor:
denedim.
Kalıcı veri kapları ile bcolz'i tam olarak bellek içi olanla aynı şekilde kullanabilirsiniz. Sadece nereye okuyunca tablo oluşturmak için belirtmek gerekir
https://github.com/FrancescAlted/EuroPython2015/blob/master/4-On-Disk-Tables.ipynb
bcolz.ctable, kullanabileceğiniz tohdf5 yöntemine sahiptir; Ancak, hdf5, çakmaklar vb. yüklemeniz gerekir. Aksi takdirde, genel bir Python nesnesini diske kaydetmenin olağan yolu olan pickle'u kullanabilirsiniz.
Bu arada, verilerinizi sıkıştırmakla ilgileniyorsanız, gzip gibi daha düşük teknoloji seçeneklerine bakmak isteyebilirsiniz; sıkıştırma, verilerinize karşı hızlı sorguları yapmanın daha endişe verici olduğu bir sütunsal veri formatından daha iyi değilse, aynı derecede iyi olacaktır.
: Sen panda/HDF5, saf PyTables, SQLite ve bcolz kullanarak diskteki veri setleri ile çalışır bu öğretici bir göz atmak isteyebilirsiniz şöyle dataframe, içinde: ct = bquery.ctable (rootdir = 'example.bcolz'):
import bcolz
import pandas as pd
df = pd.read_csv(open("mydata.csv", 'rb'), delimiter='\t')
ct = bcolz.ctable.fromdataframe(df, rootdir='dataframe.bcolz')
rootdir bir dir değil bir dosyadır – wyx
aşağıdaki talimat kullanan bcolz denilen bquery bir uzantısı gördük. Yani bcolz dosya biçiminde bir pandalar dataframe kaydetmek mümkün olduğunu tahmin ediyorum. Ve hayır, sadece sıkıştırmakla ilgilenmiyorum; Ayrıca sorgulamak istiyorum. –
hmm dokümanlar bakarak 'carray' bir 'rootpath' parametresi var gibi görünüyor, ama 'ctable' .. nedense .... bu yüzden yerine bir "carray" kullanabilirsiniz (sütun isimlerini kaybedersiniz) – maxymoo
'ctable' da' rootdir' argümanını destekler. Bakınız: http://bcolz.blosc.org/tutorial.html#tutorial-on-ctable-objects – Francesc