2014-06-21 14 views
14

R dilinde okumak için büyük bir RDS dosyasına sahibim. Ancak, dosyanın okunması biraz zaman alıyor.R içinde büyük RDS dosyalarını daha hızlı okuma

Okuma hızını arttırmanın bir yolu var mı? fread işleviyle data.table kitaplığını denedim, ancak bir hata alıyorum. Büyük dosyaların okuma işlemleri bağlamak için

data <- readRDS("myData.rds") 

data <- fread("myData.rds") # error 
+4

isterim dosyayı "compress = FALSE" ile kaydetmeyi deneyin. Okumayı ve yazmayı fark edilebilir derecede hızlandırabilir. –

cevap

3

Tek yön

system.time(read.table("bigdata.txt", sep=",")) 

user: 170.901 
system: 1.996 
elapsed: 192.137 

Şimdi aynı okuma çalışıyor ama bir sıkıştırılmış dosya ile sıkıştırılmış modda okumaktır

system.time(read.table("bigdata-compressed.txt.gz", sep=",")) 

user: 65.511 
system: 0.937 
elapsed: 66.198 
+0

Bu, bir metin dosyası hakkında olsa da, OP RDS dosyaları hakkında soruyordu. –

+0

@hshihab Çözümünüz ayrıca "RDS" dosyalarına da uygulanabilir mi? – Prradep

İlgili konular