yerel sistemde kaydedilen html ile dosyayı kazıyarak

Question

Örneğin ben bir site vardı "www.example.com" Aslında bu sitenin html yerel sisteme kaydederek kazımak istiyorum. böylece test için i

class ExampleSpider(BaseSpider): 
    name = "example" 
    start_urls = ["example.html"] 

    def parse(self, response): 
     print response 
     hxs = HtmlXPathSelector(response) 

aşağıda bunun için örümcek kodu yazmıştı example.html Şimdi

olarak benim masaüstünde o sayfayı kurtardı Ama ben

aşağıdaki gibi bu hatayı alıyorum Yukarıdaki kodu çalıştırdığınızda

ValueError: Missing scheme in request url: example.html 

Son olarak benim intension benim yerel sisteme

kaydedilen www.example.com html kodu oluşur example.html dosyayı kazımak için

herhangi biri, örneğin github için scrapy Talebinin kaynak kodunu görüntülemek lütfen önceden

Answer 1

yılında start_urls

sayesinde bu example.html dosyası atamak için nasıl beni önerebilir. Scrub sunucusunun http sunucusuna gönderdiği istekleri anlayabilir ve sunucudan yanıt olarak gerekli sayfayı alabilirsiniz. Dosya sisteminiz http sunucusu değil. Scrapy ile test amaçlı olarak http sunucusunu kurmalısınız. Ve sonra

http://127.0.0.1/example.html 

Answer 2

Sen önbellekten bir örümcek vadede etmek için size yeteneği verecek HTTPCacheMiddleware kullanabilirsiniz gibi scrapy urllerini atayabilirsiniz. HTTPCacheMiddleware ayarları için belge here bulunur.

Esas olarak, settings.py için aşağıdaki ayarları ekleyerek o iş yapmak olacaktır:

HTTPCACHE_ENABLED = True 
HTTPCACHE_EXPIRATION_SECS = 0 # Set to 0 to never expire 

Ancak bu önbelleği doldurmak için web'den bir ilk örümcek koşmak yapmak gerekir.

Answer 3

Aşağıdaki formu bir url kullanarak yerel bir dosya tarayabilir:

file:///127.0.0.1/path/to/file.html 

Bu makinenizde yüklü olması bir http sunucusu gerektirmez.