Nöralnet kullanarak R'de büyük veri seti ile sinir ağı nasıl eğitilir?

Question

İçinde 150 000 satırlık bir data.table var. Ben 9 özellikleri kullanıyorum ve 30 dakikadan fazla eğitim süresi, daha fazla beklemiyordum. Ayrıca 500 satır üzerinde çalıştı (0.2 sn sürer) ve 5000 üzerinde (71.2 sn) alır. Peki, modelimi tüm verilerle nasıl eğitmeliyim ya da bana başka tavsiyelerde bulunabilirsiniz?

burada

derlemek günlüğü:

train1 <- train[1:5000,]+1 
> f1 = as.formula("target~ v1+ v2+ v3+ v4+ v5+ v6+ v7+ v8+ v9") 
> a=Sys.time() 
> nn <-neuralnet(f1,data=train1, hidden = c(4,2), err.fct = "ce", linear.output = TRUE) 
Warning message: 
'err.fct' was automatically set to sum of squared error (sse), because the response is not binary 
> b=Sys.time() 
> difftime(b,a,units = "secs") 
Time difference of 71.2000401 secs 

Answer 1

Bu benim deneyim beklenebilir, Sinir Nets katılan hesaplamaların bir yeri vardır. Ben şahsen Python (2 gizli katman) ile yazılmış, momentum terimi de dahil olmak üzere ayrıntılı bir tane yazdım, yaklaşık 38.000 modelde 56 giriş ve 3 çıkış var. Onları 8 bin parçaya bölmek, 10 dakikamı koşturdu ve bir haftadan az bir süre sonra memnun kalmamı sağladı.

38.000 kişilik tüm setler, tüm kalıpları saklamak için daha büyük bir gizli düğümlere sahipti ve 6 saatten fazla süren bir döngüden geçmek ve öğrenmek için 3 aydan fazla sürdü. Sinirsel Ağlar çok güçlü bir araç ama benim tecrübemde bir bedeli var, diğerleri daha iyi bir uygulamaya sahip olabilir ama gördüğüm sınıflandırma algoritmalarının tüm karşılaştırmaları, her zaman anlamlı olarak öğrenmeye zaman ayırdık.