Bir üretim ortamında bir ton küçük/basit REST web sorguları çalıştırmak için dağıtılmış bir kurulum oluşturmak istiyorum. Bir düğümden yürütülen her 5-10 ilgili sorgu için, standart bir ilişkisel veritabanında (PostgreSQL gibi) depolanması gereken çok az miktarda türetilmiş veri üreteceğim.MANY basit ağ görevlerini dağıtmak için çözüm?
Bu tür bir sorun kümesi için hangi platformlar oluşturulur? Doğa, veri boyutları ve miktarları Hadoop'un zihniyetiyle çelişiyor gibi görünüyor. Daha önce bahsettiğim Condor ve Sun Grid Engine gibi daha grid tabanlı mimariler de var. Bu platformların hatalardan herhangi bir kurtarma işlemi yapıp yapmadıklarından emin değilim (bir işin başarılı olup olmadığını kontrol etmek).
Gerçekten sevdiğim şey, veritabanımın güncelleşmesiyle birlikte iş ekleyebileceğim bir FIFO türü kuyruğudur.
İş için en iyi araçla ilgili öneriniz var mı?
Sonlandırdığım (özel) bir izleme programına oldukça benziyor. Yapılandırılabilir aralıklarla belirli aralıklarla birden fazla URL'den indirir, sonuçları bir PostgreSQL veritabanına ayrıştırır ve kaydeder. Bunu, indirme işlerinin öncelik sırasını koruyan tek bir C++ programı olarak uyguladım (aslında bir std :: haritası, izleme devre dışı bırakıldığında işlerin çekilmesi gerekir) ve indirme işlemini gerçekleştirmek için libcurl kullanır. Sonuçları izlemeyi ele almamıştım çünkü izleme programı ve veritabanı aynı sunucuda yaşıyor. Gerçekten bir platform kullanmadım, bu yüzden +1 :-) –