Depolanmış veriler üzerinde bir Scrapy örümceğini yeniden oynatın

Question

Birkaç web sitesini kazımak için Scrapy'u kullanmaya başladım. Daha sonra modelime yeni bir alan eklersem veya ayrıştırma işlevlerimi değiştirirsem, indirilen ham verileri çevrimdışına yeniden kazımak için "yeniden oynatmak" isterdim.

http://dev.scrapy.org/browser/scrapy/trunk/scrapy/command/commands/replay.py?rev=168

Ama bu işlevsellik scrapy geçerli sürümünde kaldırılmış gibi görünüyor: scrapy bir noktada tekrar dosyasında ham verileri depolamak için yeteneği varmış gibi görünüyor. Bunu başarmanın başka bir yolu var mı?

Answer 1

crawl --record=[cache.file] [scraper]'u çalıştırırsanız, replay [scraper]'u kullanabilirsiniz.

Alternatif olarak, DOWNLOADER_MIDDLEWARES dahil ederek HttpCacheMiddleware ile tüm yanıtları önbelleğe alabilir: Bunu yaparsanız, size kazıyıcı çalıştırmak her zaman, ilk dosya sistemini kontrol edecek

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware': 300, 
} 

. emekleme özgeçmiş uygulamak için tüm http isteği ve yanıtını önbelleğe

http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html?highlight=FilesystemCacheStorage#httpcache-enabled söylediği gibi

Answer 2

Sen HTTPCACHE_ENABLED etkinleştirebilirsiniz.

VEYA İşler duraklatma ve http://scrapy.readthedocs.org/en/latest/topics/jobs.html