2015-12-20 25 views
13

Bu komut satırı olarak aynı sonucu almak istiyoruz aşağıdaki gibidir: I (1) ilk ve son yok olan bir LinkedInAnonymousSpider yaratıyor bu process.crawl() tespitPas argümanlar

import scrapy 
from linkedin_anonymous_spider import LinkedInAnonymousSpider 
from scrapy.crawler import CrawlerProcess 
from scrapy.utils.project import get_project_settings 

spider = LinkedInAnonymousSpider(None, "James", "Bond") 
process = CrawlerProcess(get_project_settings()) 
process.crawl(spider) ## <-------------- (1) 
process.start() 

(basılmış (2)), eğer öyleyse, o zaman herhangi bir nokta yoktur Nesne örümceği oluşturma ve ilk önce argümanları iletme ve process.crawl() 'a kadarki süreleri nasıl mümkün olabilir?

linkedin_anonymous:

from logging import INFO 

import scrapy 

class LinkedInAnonymousSpider(scrapy.Spider): 
    name = "linkedin_anonymous" 
    allowed_domains = ["linkedin.com"] 
    start_urls = [] 

    base_url = "https://www.linkedin.com/pub/dir/?first=%s&last=%s&search=Search" 

    def __init__(self, input = None, first= None, last=None): 
     self.input = input # source file name 
     self.first = first 
     self.last = last 

    def start_requests(self): 
     print self.first ## <------------- (2) 
     if self.first and self.last: # taking input from command line parameters 
       url = self.base_url % (self.first, self.last) 
       yield self.make_requests_from_url(url) 

    def parse(self, response): . . . 

cevap

27

process.crawl yöntemi örümcek argümanları:

process.crawl(spider, input='inputargument', first='James', last='Bond') 
+1

başka bir yolu yoktur ??? !!! –

+2

Ama bu şekilde belki de -o output.json' geçemiyoruz? – hAcKnRoCk