2015-07-05 14 views
10

Python'da yeniyim ve web gezgini oluşturmak için scrapy kullanmak istiyorum. Öğreticiden http://blog.siliconstraits.vn/building-web-crawler-scrapy/ numaralı telefondan geçiyorum. Örümcek kodu aşağıdaki seviyor: scrapy tarayıcı özel durum okuma örneği verisi

from scrapy.spider   import BaseSpider 
from scrapy.selector   import HtmlXPathSelector 
from nettuts.items  import NettutsItem 
from scrapy.http  import Request 

class MySpider(BaseSpider): 
    name   = "nettuts" 
    allowed_domains = ["net.tutsplus.com"] 
    start_urls = ["http://net.tutsplus.com/"] 

def parse(self, response): 
    hxs  = HtmlXPathSelector(response) 
    titles  = hxs.select('//h1[@class="post_title"]/a/text()').extract() 
    for title in titles: 
     item = NettutsItem() 
     item["title"] = title 
     yield item 

komut satırı ile örümcek başlatmak

: scrapy tarama nettus, bu hata aşağıdaki etti:

[boto] DEBUG: Retrieving credentials from metadata server. 
2015-07-05 18:27:17 [boto] ERROR: Caught exception reading instance data 

Traceback (most recent call last): 
    File "/anaconda/lib/python2.7/site-packages/boto/utils.py", line 210, in retry_url 
    r = opener.open(req, timeout=timeout) 

File "/anaconda/lib/python2.7/urllib2.py", line 431, in open 
response = self._open(req, data) 

File "/anaconda/lib/python2.7/urllib2.py", line 449, in _open 
'_open', req) 

File "/anaconda/lib/python2.7/urllib2.py", line 409, in _call_chain 
result = func(*args) 

File "/anaconda/lib/python2.7/urllib2.py", line 1227, in http_open 
return self.do_open(httplib.HTTPConnection, req) 

File "/anaconda/lib/python2.7/urllib2.py", line 1197, in do_open 
raise URLError(err) 

URLError: <urlopen error [Errno 65] No route to host> 
2015-07-05 18:27:17 [boto] ERROR: Unable to read instance data, giving up 

gerçekten neyin yanlış olduğunu bilmiyorum. Biri yardım edebilir Umut

+0

mi { 's3' Yok,} tamamının traceback (Öyle değildir tahmin ediyorum)/ – CrazyCasta

cevap

28

: eklemek aşağıdaki kod ayarları:

DOWNLOAD_HANDLERS =:

+0

Bu belge nerede? – gusridd

+3

Birisi burada neyin yanlış gittiğini açıklayabilir mi? ve cevabı nasıl tamir etti? –

+0

Benim için çalışmadı. – AnovaConsultancy

0

önemli bilgiler şunlardır: Bilgisayarınız kazımak çalıştığınız site ile iletişim kurmak için bilmiyor söylemeye çalışıyor

URLError: <urlopen error [Errno 65] No route to host> 

. Bu python'u çalıştırmaya çalıştığınız makineden normal olarak (ör. Web tarayıcısında) siteye erişebiliyor musunuz? settings.py dosyasında

+0

evet Siteye normal – printemp

+0

erişebilirdim Peki, daha fazla nasıl yardımcı olacağından emin değilim. Söyleyebileceğim tek şey, "Barındırılacak rota yok", OS'nin paketleri göndermesi gereken IP adresine paketleri nasıl göndereceğini bilmediğini belirten bir ağ sorunudur. – CrazyCasta

+0

Tamam, yine de teşekkürler. Sth daha fazla bulmaya çalışıyorum – printemp