Büyük Veri arules paketindeki "transaction" işlemine dönüştü

Question

R'deki arules paketi 'transaction' sınıfını kullanır. Yani apriori() işlevini kullanmak için mevcut verilerimi dönüştürmem gerekiyor. Ben 2 sütun ve kabaca 1.6 mm satır içeren bir Matrix var ve bu gibi verileri dönüştürmek için denedim:

transaction_data <- as(split(original_data[,"id"], original_data[,"type"]), "transactions") 

original_data benim veri matristir. Veri miktarı nedeniyle 64GB RAM ile en büyük AWS Amazon makinesini kullandım. Bir süre sonra elde

edilen vektör makinesinin bellek kullanımı% 60 'sadece' hala 'AnswerType'

vektör uzunluğu sınırı aşmaktadır. Bu R tabanlı bir sınırlama mı? Bu örneklemeyi örneklemeyi kullanmanın dışında bir yolu var mı? Verilerin sadece 1/4'ünü kullanırken, dönüşüm iyi çalıştı.

Düzenleme: Belirtildiği gibi, değişkenlerden biri karakter yerine bir faktördü. Değişimi değiştirdikten sonra hızlı ve doğru bir şekilde işlendi.

Answer 1

Sorunlarınızdan kaynaklandığından şüpheleniyorum, çünkü işlevlerden biri, indeks değerlerini tamsayılar (atlatmak yerine) kullanmaktadır. Her durumda, boyut çok büyük değil, bu yüzden bu şaşırtıcı. Belki de veriler, faktörler gibi karakterler gibi başka bir soruna sahip midir?

Genel olarak, yine de, veya mwhich aracılığıyla bölünebilen ve işleyebileceğiniz bigmemory aracılığıyla bellek eşlemeli dosyaları kullanmanızı öneririz. Verilerin boşaltılması sizin için çalışıyorsa, daha küçük bir örnek boyutu kullanabilir ve $$ tasarruf edebilirsiniz. :)