Bir pakete (yani, snow
'dan başka bir pakete) bağlı bazı kodları (snow::parLapply
kullanarak) paralelleştirmeye çalışıyorum. parLapply
tarafından çağrılan işlevde başvurulan nesneler, clusterExport
kullanılarak açıkça kümeye geçirilmelidir. clusterExport
clusterExport
içinde her bir işlevi (bir paketin kullanıcı işlevleri tarafından çağrılan iç işlevleri dahil) açıkça belirtmek yerine kümenin tamamına tüm bir paketi iletmenin bir yolu var mı?Tüm bir paketi bir kar kümesine geçirme
5
A
cevap
6
,
clusterApply(cl, library(thePackageYouUse))
Ben son R bültenleri ile gelir örnekler vardır parallel
paketini düşünmek gibi yumurta şey tüm düğümlerde paketini yükleyin ve biri üzerinden kullanılabilir komutları tüm düğümlerde kodunuzu çağrı library(thePackageYouUse)
var -
## A bootstrapping example, which can be done in many ways:
clusterEvalQ(cl, {
## set up each worker. Could also use clusterExport()
library(boot)
cd4.rg <- function(data, mle) MASS::mvrnorm(nrow(data), mle$m, mle$v)
cd4.mle <- list(m = colMeans(cd4), v = var(cd4))
NULL
})
İlgili konular
- 1. Kar Leopard
- 2. bir git özniteliği kümesine sahip tüm dosyaları listele
- 3. NotImplementedException, dahili kar API'sı
- 4. Tüm argümanları zsh işlevinde geçirme
- 5. Koch kar tanesi döndürülemiyor
- 6. Kar Pythonunu Belirleme
- 7. json.stringify'a bir dizi geçirme
- 8. AngularJS'de bir diziyi süzgeçten geçirme
- 9. mongoDB'yi bir Dataiku veri kümesine nasıl bağlarım?
- 10. R'de bir veri kümesine başlık nasıl eklenir?
- 11. EMR kümesine nasıl bir Spark jar gönderirim?
- 12. Çalıştırma, belirli bir özel düğüm kümesine dayanır
- 13. JavaScript XPath sorgusunda bir düğüm kümesine erişme
- 14. Bir raylar değişkenini bir js fonksiyonuna geçirme
- 15. Mahout'u dolaşım kümesine dağıtma
- 16. (Z3Py) Denklem için tüm çözümleri gözden geçirme
- 17. Arabirimi bir WCF Hizmetinde Geçirme?
- 18. Bir nesneyi HTML özniteliklerine geçirme
- 19. Bir bloğu blok olarak geçirme
- 20. Özelleştirilmiş bir şablona parametre geçirme
- 21. Değişkenleri bir Java ActionListener'e geçirme?
- 22. C#: Bir Genel Nesneyi Geçirme
- 23. Onclick işlevinde bir dizgeyi geçirme
- 24. Flash/AS3 bir yönteme bir yöntem geçirme
- 25. Yerel bir değişkeni bir işlevden diğerine geçirme
- 26. Bir JSP'den Servlet'e bir değişken değeri geçirme
- 27. İç içe bir türü bir monad trafo kümesine dönüştürme
- 28. Bir değerler kümesine iki modlu bir dağılımın yerleştirilmesi
- 29. py.test Tüm test paketi için SetUp/TearDown
- 30. Veritabanımdaki tüm tablolar UTF8 karakter kümesine nasıl değiştirilir?
Teşekkür Dirk: -
boot
paket her yerde yüklendiği yerdehelp(clusterApply)
burada örneğin bkz. ClusterExport (ls()) 'ın neden tehlikeli olacağı konusunda herhangi bir sebep var mı? Bu, işlevlerin paketlerden geçirilmesinde yardımcı olmaz, ancak bir dizi küresel değişkene dayanan döngüleri (benimkileri değil, benimki!) Hızla paralel hale getirmek için çok fazla baş ağrısından tasarruf eder. – MichaelSadece kötü tasarım bir scattershot artı mutfak lavabo yaklaşımı kullanır. Seri bir çözümde ihtiyacınız olanı tasarlayın, ardından paralel hale getirin. –
Yeterince adil, yardım için teşekkürler. – Michael