Örümcek içinde Scrapyd jobid değeri

Question

Çerçeve Scrapy - Scrapyd sunucusu.

Örümceğin içinde jobid değeri elde etmekle ilgili bir sorunum var. http://localhost:6800/schedule.json tepki sonrası verilerinin ardından

status = ok 
jobid = bc2096406b3011e1a2d0005056c00008 

olduğu Ama sürecinde cari örümcek içinde bu jobid kullanmak gerekir. Açık {jobid} .log dosyası veya diğer dinamik nedenler için kullanılabilir.

class SomeSpider(BaseSpider): 
    name = "some" 
    start_urls = ["http://www.example.com/"] 
    def parse(self, response): 
     items = [] 
     for val in values: 
      item = SomeItem() 
      item['jobid'] = self.jobid # ???! 
      items.append(item) 
     return items 

Ama görev finihed yalnızca sonra bu jobid :(teşekkürler bakın!

Answer 1

ben daha kolay bir yolu yoktur sanırım, ama komut satırı args gelen iş id çıkarabilir. IIRC, scrapyd başlattı bir . o parametrelerde bir jobid veren örümcek Sadece jobid ihtiyaç sys.args keşfetmek

Answer 2

sen değişken SCRAPY_JOBçevre adresinden elde edebilirsiniz.

os.environ['SCRAPY_JOB']