N öğeleri kazındıktan sonra Scrapy'yi durdurun

Question

Scrapy ile sorun yaşıyorum. Verilen URL başına 1000 adede kadar iç bağlantıyı kaldıracak kodlara ihtiyacım var. Kodum komut satırında çalışırken çalışır, ancak örümcek durmaz, sadece mesajı alır.

from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.item import Item, Field 
from scrapy.contrib.closespider import CloseSpider 

class MyItem(Item): 
    url= Field() 

class MySpider(CrawlSpider): 
    name = 'testspider1' 
    allowed_domains = ['angieslist.com'] 
    start_urls = ['http://www.angieslist.com'] 

    rules = (Rule(SgmlLinkExtractor(), callback='parse_url', follow=True),) 

    def parse_url(self, response): 
     item = MyItem() 
     item['url'] = response.url 

     scrape_count = self.crawler.stats.get_value('item_scraped_count') 
     print scrape_count 

     limit = 10 

     if scrape_count == limit: 
      raise CloseSpider('Limit Reached') 

     return item 

Answer 1

Benim sorunum yanlış yerde yakın örümcek uygulamak çalışıyordum şu şekildedir:

Benim kodudur. Settings.py dosyasında ayarlanması gereken bir değişken. Oraya manuel olarak koyduğumda veya komut satırında bir argüman olarak ayarladığımda, işe yaradı (N değerinin 10-20 arasında durması).

settings.py:

BOT_NAME = 'internal_links' 
SPIDER_MODULES = ['internal_links.spiders'] 
NEWSPIDER_MODULE = 'internal_links.spiders' 
CLOSESPIDER_PAGECOUNT = 1000 
ITEM_PIPELINES = ['internal_links.pipelines.CsvWriterPipeline'] 
# Crawl responsibly by identifying yourself (and your website) on the user-agent 
USER_AGENT = 'yo mama' 
LOG_LEVEL = 'DEBUG'