Büyük bir veri dosyası (7GB) öğrenmek istiyorum: 800 satır, 5 milyon sütun. Bu yüzden bu verileri yüklemek ve kullanabileceğim bir forma koymak istiyorum (2D liste veya dizi).Yinelenen verileri iteratörler veya yığınlar olmadan yükleyin
sorun burada ben veri yüklemek ve bunları saklamak çalıştığınızda, onlar sadece ben bu tür nasıl kullanılacağı hakkında çok şey duydum 500.
satırda durdurmak tüm hafızamı (12GB) ve kullanımı veri, chunks ve yineleyicileri kullanmak gibi, ancak bunları tamamen bellekte yüklemek istiyorum, böylece çapraz doğrulama yapabilirim. Yardım için pandaları kullanmaya çalıştım ama sorun aynı.
7 GB'lık verilerin tamamını yüklemek ve yüklemek istediğim bazı sorunlar var mı? Ya da bana yardımcı olabilecek başka bir fikrin var mı?
Başka hangi kaynaklar kullanılıyorsa çıkardıktan sonra 12 GB RAM'iniz var mı? – timgeb
Neyse, gerçekten her şeyi belleğe yüklemek istiyorsanız, ancak yeterli belleğe sahip değilseniz, yanıt daha fazla bellek almaktır. Ya da verileri bir şekilde sıkıştırın. – timgeb
ne yapmak istediğinize bağlıdır. Yolda parçalara ayrılır ve her seferinde bir parça yükler. – galaxyan