5
Şimdi scrapy'yi daha dağınık bir yaklaşımla kullanmayı planlıyorum ve örümcekler/pipeline/downloader/schedulers ve engine hepsi ayrı işlemlerde veya threadlarda barındırılıyorsa, emin değilim. Bazı bu konuda bilgi? ve her bir bileşeni için işlem/iplik sayısını değiştirebilir miyiz? Biliyorum şimdi "CONCURRENT_REQUESTS" ve "CONCURRENT_ITEMS" iki ayar vardır, onlar downloaders ve boru hatları için eşzamanlı konuları belirleyecekler, değil mi? ve örümcekler/ boru hatlarını/indiricilerini farklı makinelere dağıtmak istersem, ürün/istek/yanıtları seri hale getirmem gerekiyor mu? Yardımlarınız için çok teşekkür ederiz!Scrapy'nin eşzamanlılık modeli hakkında
Teşekkürler, Edward.