Scrapy

Question

bağlamında kazıyıcı, paletli ve örümcek arasındaki fark Scrapy kodunu okumaya çalışıyorum. nohut, paletli ve örümcek sözcükleri kafa karıştırıcıdır. Örneğin

scrapy.core.scraper 
scrapy.crawler 
scrapy.spiders 

kimse anlamlarını ve scrapy bağlamında bu terimlerin farklılıkları açıklayabilir misiniz? Şimdiden teşekkürler. Scrub API'sinin ana giriş noktasıdır.

Answer 1

Paletli (scrapy.crawler), Scrapy API'sinin ana giriş noktasıdır. Tüm Scrapy çekirdek bileşenlerine erişim sağlar ve uzantı işlevlerini Scrapy'ye bağlamak için kullanılır. Bileşen, yanıtların ayrıştırılmasından ve bunlardan bilgi ayıklanmasından sorumludur. (scrapy.core.scraper). Motordan kaçıyor ve örümceklerini çalıştırmak için kullanılıyor.

scrapy.spiders

ruleset tabanlı tarama yapılması CrawlSpider gibi kutunun (dışarı bazı ortak örümcekler ile birlikte, mevcut üssü Spider uygulanmasını (eğer örümcekler yazmak için kullandıkları) içeren bir modüldür, SitemapSpider site haritası tabanlı tarama yapılması veya XML beslemelerini taramak için XMLFeedSpider). resmi belgeler sayfalarında

fazla bilgi mevcut:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler