scrapy: Örümcek kapandığında bir işlev çağırın

Question

Örümcek sınıfında, sonlanmadan hemen önce bir yöntem tetiklemenin bir yolu var mı?

class MySpider(CrawlSpider): 
    #Config stuff goes here... 

    def quit(self): 
     #Do some stuff... 
     raise CloseSpider('MySpider is quitting now.') 

    def my_parser(self, response): 
     if termination_condition: 
      self.quit() 

     #Parsing stuff goes here... 

Ama örümcek doğal olarak çıkmak üzereyken nasıl belirleneceği hakkında herhangi bir bilgi bulamıyorum:

böyle, örümcek kendim kesebilirler.

Answer 1

dispatcher aracılığıyla bir sinyal dinleyicisi kaydedebilirsiniz gibi görünüyor.

from scrapy import signals 
from scrapy.xlib.pydispatch import dispatcher 

class MySpider(CrawlSpider): 
    def __init__(self): 
     dispatcher.connect(self.spider_closed, signals.spider_closed) 

    def spider_closed(self, spider): 
     # second param is instance of spder about to be closed. 

Answer 2

Benim için yukarıda işe yaramadı/en azından scrapy 0.19 için modası geçmiş:

ben gibi bir şey denemek istiyorum. o olabilir (

class MySpider(CrawlSpider): 
    def closed(self, reason): 
     do-something() 

Answer 3

Hemen güncellemek için: Gerçi aşağıdaki çalışmak lazım ayrıca eski sürümler için de çalışır).

from scrapy import signals 

class MySpider(CrawlSpider): 
    name = 'myspider' 

    @classmethod 
    def from_crawler(cls, crawler, *args, **kwargs): 
     spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs) 
     crawler.signals.connect(spider.spider_opened, signals.spider_opened) 
     crawler.signals.connect(spider.spider_closed, signals.spider_closed) 
     return spider 

    def spider_opened(self, spider): 
     print('Opening {} spider'.format(spider.name)) 

    def spider_closed(self, spider): 
     print('Closing {} spider'.format(spider.name)) 

İyi bir kullanım örümcek scrapy için tqdm ilerleme çubuğu eklemektir. Birçok örümcekler var ve onları kapatmadan her önce bir şeyler yapmak istiyorsanız

# -*- coding: utf-8 -*- 
from scrapy import signals 
from scrapy.linkextractors import LinkExtractor 
from scrapy.spiders import CrawlSpider, Rule 
from tqdm import tqdm 


class MySpider(CrawlSpider): 
    name = 'myspider' 
    allowed_domains = ['somedomain.comm'] 
    start_urls = ['http://www.somedomain.comm/ccid.php'] 

    rules = (
     Rule(LinkExtractor(allow=r'^http://www.somedomain.comm/ccds.php\?id=.*'), 
      callback='parse_item', 
      ), 
     Rule(LinkExtractor(allow=r'^http://www.somedomain.comm/ccid.php$', 
          restrict_xpaths='//table/tr[contains(., "SMTH")]'), follow=True), 
    ) 

    def parse_item(self, response): 
     self.pbar.update() # update progress bar by 1 
     item = MyItem() 
     # parse response 
     return item 

    @classmethod 
    def from_crawler(cls, crawler, *args, **kwargs): 
     spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs) 
     crawler.signals.connect(spider.spider_opened, signals.spider_opened) 
     crawler.signals.connect(spider.spider_closed, signals.spider_closed) 
     return spider 

    def spider_opened(self, spider): 
     self.pbar = tqdm() # initialize progress bar 
     self.pbar.clear() 
     self.pbar.write('Opening {} spider'.format(spider.name)) 

    def spider_closed(self, spider): 
     self.pbar.clear() 
     self.pbar.write('Closing {} spider'.format(spider.name)) 
     self.pbar.close() # close progress bar 

Answer 4

scrapy sürümü 1.0.0+ için:, sadece böyle closed işlevini çağırabilirsiniz

from scrapy.signalmanager import SignalManager 
from scrapy.xlib.pydispatch import dispatcher 

class MySpider(CrawlSpider): 
    def __init__(self, *args, **kwargs): 
     super(MySpider, self).__init__(*args, **kwargs) 
     SignalManager(dispatcher.Any).connect(
      self.closed_handler, signal=signals.spider_closed) 

    def closed_handler(self, spider): 
     # do stuff here 

Answer 5

, belki de projenizde statscollector eklemek uygun olacaktır. ayarlarında

:

STATS_CLASS = 'scraper.stats.MyStatsCollector' 

ve kolektör: mükemmel

from scrapy.statscollectors import StatsCollector 

class MyStatsCollector(StatsCollector): 
    def _persist_stats(self, stats, spider): 
     do something here