Bir CSV dosyasından (20 milyon satır) okuyarak büyük miktarda veri nasıl devam ettirilir. Bu, şu ana kadar 1 1/2 güne kadar koşuyor ve sadece 10 milyon satırlık bir süredir devam ediyor, bunu nasıl daha hızlı hale getirebiliyor ve bunu paralel bir şekilde yürütmek için bir imkan var.Bir CSV dosyasından okunarak büyük miktarda veri nasıl devam ettirilir?
CSV'yi okumak için buradaki kodu kullanıyorum, bunu başarmanın daha iyi bir yolu olup olmadığını öğrenmek istiyorum.
bakın: dealing with large CSV files (20G) in ruby
Bellekte 20mil satırın hedefi nedir? Neden sadece her satırı okumuyor ve bunu bir SQLite veritabanına sıkıştırmıyorsunuz?(oradaki analizi yapın) Eğer büyük miktarda veriye çalışıyorsanız, MapReduce'a bakmak isteyeceksiniz. – Besto
Tüm verileri işlemek ve daha fazla işlem için MySQL veritabanında saklamak istiyorum. Verileri okuduğum veya veriyi sürekli güncelleyebilmem için bana bilgi ver. Burada herhangi bir kod parçacığı için teşekkür ederiz. Ayrıca satırlar geçti mi? – brisk
Örnek bir şema sağlayabilir misiniz? O zaman pasajı bir araya getireceğim. – Besto