Python Pandalar Yeniden örnekleme ipython çekirdeği beklenmedik bir şekilde öldü Hata

Question

Verilerimi 1 saniyelik aralıklarla yeniden örneklemeye çalıştığımda ipython kernel died unexpectedly Error aldım. index_result, dizin olarak datetime nesnesine sahip yaklaşık 15 sütun ile yaklaşık 60000000 satırdır. 5 saniyeden 18 saate yeniden örneklendiğimde hata olmadı. Ancak, 1 saniye arayla yeniden örneklemek istediğimde, bana kernel died unexpectely error verdi.

resample_interval= ['1S','5S','10S','15S','30S','60S','90S','120S','180S','240S',\ 
'5T','7T','10T','15T','30T','45T','1H','2H','3H','4H','6H','8H','12H','18H'] 

for idx,interval in enumerate(resample_interval):  
    locals() 
['resample_result_'+resample_interval[idx]] = index_result.resample(resample_interval[idx], how={'Volume':np.sum, 'Ask Price':'ohlc', 'Bid Price':'ohlc', 'Price':'ohlc'}) 

Answer 1

nedeni arkasında Bellek konudur:

şu kodudur. 24G RAM'im var, ama buradaki pandalar büyük miktarda bellek alıyor, çünkü veri ağım gerçekten çok büyük. Bu soruna olan çözümüm, veri çerçevesini parçalamak ve parçayı parça ile yeniden örneklemek ve daha sonra tekrar bir araya getirmek. Aynı sorunla karşılaşırsanız, bu yardımcı olur umarım.