Bazı analizleri R veya python kullanarak yapmak için kullanmam gereken 1,3 GB tsv veri dosyasına sahibim. Makinemde 8 GB RAM var ve Windows 8 çalışıyor. Dosyayı RStudio veya herhangi bir dosya okuma uygulaması ile yükleyemiyorum. Dosyayı okuyabildiğim ve üzerinde çalışabileceğim bir şey var mı? Amazon'a hadoop ile taşınmalı mıyım? Bu bana göründüğü kadar büyük bir veri sorunudur.Büyük dosyalarda çalışma mümkün değil RStudio
R.'de yükleme yaparken sorunlarla karşılaşıyordum, python pandalarını kullanarak yükleyebiliyorum ve 8 GB RAM bilgisayarla çalışıyor gibi görünüyor. Tüm dosyayı belleğe okumazsanız, örneğin, satırı satır satır okumazsanız ve biraz iş yaparsanız, o zaman iyi olmalısınız.
Bunu bir çözüm olduğunu belirten bir şekilde yazdınız, ancak sorunuz 8 GB'lık bir süre olduğunu söyledi. Bu sorunuzun bir eki ise, lütfen bu cevabı silin ve sorunuzu – Rob
olarak düzenleyin. Bunu "R ile çalışmaya başlayamadım, ama 8gb makinemde bile Python Pandalarla çalışmasını sağladım." ". – Gimby
@Gimby Fair yeterince – Rob
Yerel olarak mapreduce yapmanın yolları da vardır, bu nedenle bir Hadoop kümesine ihtiyaç duyduğunuzda, –
cevabınız var. Fakat R programını yazdığımda, tüm dosya üzerinde çalışacak. Bu yüzden sadece üst k kayıtlarını gözetlesem bile yardım etmeyecek. Mapreduce işini yerel olarak çalıştırmak hakkında biraz daha bilgi verebilir misiniz? – Zack
Ayrıca, R veya python ile çalışmam gerek. – Zack