Serisi ile DataFrame oluşturmak için Panda'ları kullanma, bellek hatasıyla sonuçlanıyor

Question

Uzaktan algılama zaman serisi analizi için Pandas kütüphanesi kullanıyorum. Sonunda, DataFrame'imi yığın boyutlarını kullanarak csv'ye kaydetmek istiyorum, ancak küçük bir sorunla karşılaşıyorum. Kodum, Pandas Serisine dönüştüğüm 6 NumPy dizisi oluşturur. Bu Serisinin her bir Pandalar DataFram (df) içine Serisi eklemek istiyorum öğeler

>>> prcpSeries.shape 
(12626172,) 

bir sürü içerir bu yüzden bir csv dosyasına yığın tarafından onlara yığın kaydedebilirsiniz.

d = {'prcp': pd.Series(prcpSeries), 
    'tmax': pd.Series(tmaxSeries), 
    'tmin': pd.Series(tminSeries), 
    'ndvi': pd.Series(ndviSeries), 
    'lstm': pd.Series(lstmSeries), 
    'evtm': pd.Series(evtmSeries)} 

df = pd.DataFrame(d) 
outFile ='F:/data/output/run1/_'+str(i)+'.out' 
df.to_csv(outFile, header = False, chunksize = 1000) 
d = None 
df = None 

Ama benim kod Bellek Hatası

df = pd.DataFrame(d) 

herhangi bir öneriniz vererek aşağıdaki çizgisinde takılıp? Pandas DataFrame parçasını yığın ile doldurmak mümkün mü?

Answer 1

Biliyorsanız bunların her biri aynı uzunlukta daha sonra dizisi tarafından doğrudan DataFrame oluşturabilir ve her bir sütunu ekleme aşağıdaki gibidir: (aynı zamanda to_frame yöntemi kullanabilir:

df = pd.DataFrame(prcpSeries, columns=['prcp']) 
df['tmax'] = tmaxSeries 
... 

---

Not hangi (isteğe bağlı olarak) bir ad geçmesine izin verir -) Serisi tane yoksa yararlıdır:

df = prcpSeries.to_frame(name='prcp') 

---

Ancak, eğer değişken uzunluktaysa, bu bazı veriler (prcpSeries'dan daha uzun olan diziler) kaybedecektir. Örneğin

df1 = pd.DataFrame(prcpSeries, columns=['prcp']) 
df2 = pd.DataFrame(tmaxSeries, columns=['tmax']) 
... 

df = pd.concat([df1, df2, ...], join='outer', axis=1) 

:

In [21]: dfA = pd.DataFrame([1,2], columns=['A']) 

In [22]: dfB = pd.DataFrame([1], columns=['B']) 

In [23]: pd.concat([dfA, dfB], join='outer', axis=1) 
Out[23]: 
    A B 
0 1 1 
1 2 NaN