JVM (embarrasingly) paralel işlem kitaplıkları/araçları

Question

Kümede utanç verici bir şekilde paralel JVM kodu çalıştırmayı (doğru kodla) çalıştırmayı kolaylaştıracak bir şey arıyorum (böylece Clojure + Incanter'ı kullanabilirim).

Bunu yapmak için geçmişte Parallel Python'u kullandım. Yeni bir PBS kümemiz var ve yöneticimiz yakında PBS'yi arka uç olarak kullanan IPython düğümleri oluşturacak. Bu sistemlerin her ikisi de, bir kümedeki belirli kod türlerini çalıştırmak için neredeyse hiç bir beyin fırtınası yapmaz.

Hadoop'u geçmişte kullanma hatasını yaptım (Hadoop, kullandığım türden verilere uygun değil) - gecikme süresi bile küçük dakikalar için 1-2 dakika sürüyor.

İhtiyacım olan şey için JPPF veya Gridgain daha mı iyi? Buradaki herhangi birinin deneyimi var mı? Önerebileceğiniz başka bir şey var mı? Skandium

Edit en

Answer 1

ekleyerek, artık yayında.

Answer 2

Görünüş: linke Üstü

yüzden Clojure bazı yama tabi Terracotta üzerinde çalışmak için bildirilmiştir github linki

https://github.com/mleyton/Skandium

Answer 3

Kontrol dışarı cascalog - Sana Skandium bakmak önermek http://github.com/nathanmarz/cascalog

Answer 4

, GPL alternatif lisansları istek üzerine geliştiricileri ile müzakere edilebilir.