Bir siteyi taramaya çalışıyorum ancak kodum yalnızca sitenin açık olması ve daha sonra yeniden açılmasını sağlamak için çalışıyor. Birden şey denedik ve şu iki hatalarına gelmesini sağlayacak adres: i
Crawling with an authenticated session in Scrapy'u okudum ve kapatıyorum, ayrıştırma kodumun doğru olduğundan emin olduğumdan% 99 eminim, girişin yönlendirildiğini ve başarılı olduğunu düşünmüyorum. A
Ben birçok kazıyıcı yazdım ama ben sonsuz scrollers nasıl ele alacağından emin değilim. Bu günlerde çoğu web sitesi vb, Facebook, Pinterest, sonsuz scrollers vardır.
Scrapy çerçevesini kullanarak yazdığım bir örümcek var. Çalışmak için herhangi bir boru hattı almakta sorun yaşıyorum. Benim pipelines.py aşağıdaki kodu vardır: class FilePipeline(object):
def _