lme4 :: glimer vs. Stata'nın melogit komutu

Question

Son zamanlarda nispeten büyük veri kümelerine çok sayıda rastgele efekt modeli sığdırmaya çalışıyorum. En fazla 25 zaman noktasında gözlemlenen yaklaşık 50.000 kişi (ya da daha fazla) diyelim. Böylesine büyük bir örneklem büyüklüğünde, ayarlayabileceğimiz çok fazla tahminci ekliyoruz - belki 50 ya da çok sabit etki. R'de lme4::glmer'u kullanarak her bir konu için rastgele kesişme ile modeli ikili bir sonuca uygun hale getiriyorum. Ben verilere ayrıntılarına girmeyeceğim, ama kullandığım glmer komutunun temel biçim oldu: Her iki study_quarter ve dd_quarter yaklaşık 20 seviyesi her faktörler

fit <- glmer(outcome ~ treatment + study_quarter + dd_quarter + (1|id), 
       family = "binomial", data = dat) 

nerede.

Bu modeli R'ye sığdırmaya çalıştığımda, yaklaşık 12-15 saat çalışır ve yakınsamayacağı bir hata döndürür. İyileştirmeyle ilgili bir dizi sorun giderme (örneğin, these yönergelerini takip ederek) yaptım. Ve yakınsaklık sonunda bile yakın değildir (5-10 civarında maksimum gradyan, yakınsama kriteri ise 0.001'dir).

Daha sonra modele, melogit komutunu kullanarak Stata'ya yerleştirmeye çalıştım. Model, yakınsama sorunu olmaksızın 2 dakikadan daha kısa bir süreye sığmaktadır. Karşılık gelen Stata komutu,

Ne verir? Stata'nın daha iyi bir uydurma algoritması var mı, yoksa büyük modeller ve büyük veri setleri için optimize edilmiş bir tanesi var mı? Çalışma sürelerinin ne kadar farklı olduğu gerçekten şaşırtıcı.

Answer 1

glmer uyum muhtemelen çok daha hızlı opsiyonel argümanı nAGQ=0L beraber olacak. Birçok sabit efekt parametreniz vardır (study_quarter ve dd_quarter için toplam 20 kontrast oluşturmak üzere 20 seviye) ve varsayılan optimizasyon yöntemi (nAGQ=1L'a karşılık gelir), tüm bu katsayıları genel doğrusal olmayan optimizasyon çağrısı içine koyar. nAGQ=0L ile bu katsayılar daha hızlı cezalandırılmış yinelemeli olarak yeniden en küçük kareler (PIRLS) algoritması içinde optimize edilmiştir. Varsayılan olarak, tahmindeki sapmanın daha düşük olduğu anlamında genellikle daha iyi bir tahminde bulunulur, ancak fark genellikle çok küçüktür ve zaman farkı çok büyüktür.

Bu algoritmalardaki farklılıkların bir Jupyter dizüstü bilgisayar nAGQ.ipynb olarak bir yazım var. Bu yazma işlemi, lme4 yerine Julia için MixedModels paketini kullanır, ancak yöntemler benzerdir. (Ben lme4 ve MixedModels yazarı yazarlarından biri duyuyorum.

Çok fazla GLMM uyuyorsanız, numaralı telefondan MixedModels numaralı telefonu kullanabilirsiniz. lme4'daki tüm karmaşık kodlarda bile R'dan çok daha hızlıdır.

Answer 2

Stata'nın tüm dosyada okuduğundan emin misiniz? Eğer 50k kişi 25 kere (1.250.000 satır) gözlemlenen var gibi bana geliyor çünkü

http://www.stata.com/manuals13/rlimits.pdf

sormak nedenidir; Kullandığınız Stata sürümüne bağlı olarak, kesilmiş sonuçlar alabilirsiniz.

EDIT Dosya uzunluğu sorunu olmadığından, nlme gibi karışık efektler için diğer paketleri denediniz mi? Doğrusal olmayan karışık efekt modelinin verilerinizi biraz daha hızlı alacağından şüpheleniyorum.

DÜZENLEME Bu kaynak farklı modelleri hakkında şeyden daha faydalı olabilir: https://stats.stackexchange.com/questions/173813/r-mixed-models-lme-lmer-or-both-which-one-is-relevant-for-my-data-and-why