scrapy: html dizesini HtmlResponse nesnesine dönüştürün

Question

Scrapy'nin response numarasına benzer seçicilerin css ve xpath seçimlerini kullanabilmem için scrapy HTML yanıt nesnesine dönüştürmek istediğim bir ham html dizim var. Nasıl yapabilirim? o hata ayıklama veya test amaçlı ise tüm

Answer 1

Birincisi, sen Scrapy shell kullanabilirsiniz:

$ cat index.html 
<div id="test"> 
    Test text 
</div> 

$ scrapy shell index.html 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text' 

different objects available in the shell vardır oturumu sırasında, response ve request gibi.

---

Veya, bir HtmlResponse class örneğini ve body HTML dizesini sağlayabilir:

>>> from scrapy.http import HtmlResponse 
>>> response = HtmlResponse(url="my HTML string", body='<div id="test">Test text</div>') 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text'