Yükleme Matlab seyrek matrisi, -v7.3 (HDF5) ile Python'a kaydedildi ve üzerinde çalışıyor

Question

Matlab'dan gelen python'a yeniyim. Matlab v7.3 (HDF5) formatında kaydedilmiş büyük bir seyrek matrisim var. Şu ana kadar, dosyada h5py ve tables kullanarak iki yükleme yolu buldum. Ancak matris üzerinde çalışmak her ikisinden sonra da oldukça yavaş görünüyor.

>> whos  
    Name   Size     Bytes Class  Attributes 

    M  11337x133338   77124408 double sparse  

>> tic, sum(M(:)); toc 
Elapsed time is 0.086233 seconds. 

kullanma masaları: Örneğin, Matlab'de

t = time.time() 
sum(f.root.M.data) 
elapsed = time.time() - t 
print elapsed 
35.929461956 

h5py kullanma:

t = time.time() 
sum(f["M"]["data"]) 
elapsed = time.time() - t 
print elapsed 

(ı bekleyen verdi ...)

[DÜZENLE]

Yorumları dayanarak

from scipy import sparse 
A = sparse.csc_matrix((f["M"]["data"], f["M"]["ir"], f["tfidf"]["jc"])) 

veya

data = numpy.asarray(f["M"]["data"]) 
ir = numpy.asarray(f["M"]["ir"]) 
jc = numpy.asarray(f["M"]["jc"])  
    A = sparse.coo_matrix(data, (ir, jc)) 

: @bpgergo, ben bir numpy dizi ya da aşağıdaki iki yolla bir scipy seyrek diziye h5py ( f) tarafından yüklenen neticenin denediğinizden eklemek gerekir

ancak bu işlemlerin ikisi de oldukça yavaştır.

Burada eksik olduğum bir şey var mı?

(yani o oluyor

import tables, warnings 
from scipy import sparse 

def load_sparse_matrix(fname) : 
    warnings.simplefilter("ignore", UserWarning) 
    f = tables.openFile(fname) 
    M = sparse.csc_matrix((f.root.M.data[...], f.root.M.ir[...], f.root.M.jc[...])) 
    f.close() 
    return M 

Answer 1

sorunun çoğu etkili bir bellek eşlemeli dizi olan şeye piton sum kullandığınız yani:

Answer 2

Sen numpy http://www.scipy.org/NumPy_for_Matlab_Users

Answer 3

kuşaklar için son cevabın kaçırıyorsun diskte, bellekte değil).

Öncelikle, diskten bir şeyleri hafızada okumak için gereken süreyi okumak için gereken süreyi karşılaştırıyorsunuz. Matlab'da yaptığınız şeyle karşılaştırmak istiyorsanız, diziyi önce belleğe yükleyin.

İkinci olarak, pitonun yerleşik sum numpy dizileri için çok etkisizdir. (Ya da daha doğrusu, bir numpy dizisinin her öğesinde yinelenen çok yavaş, python'un sum yapısının ne olduğu çok yavaştır.) Sayısal diziler için numpy.sum(yourarray) veya yourarray.sum() kullanın. Örnek olarak

:

(. h5py kullanarak, onunla daha tanıdık olduğum için)

import h5py 
import numpy as np 

f = h5py.File('yourfile.hdf', 'r') 
dataset = f['/M/data'] 

# Load the entire array into memory, like you're doing for matlab... 
data = np.empty(dataset.shape, dataset.dtype) 
dataset.read_direct(data) 

print data.sum() #Or alternately, "np.sum(data)"