Web sayfasındaki tüm bağlantıları bulabilmek için Python lxml/beautiful soup

Question

Web sayfasını okumak için bir komut dosyası yazıyorum ve belirli bir ölçütle eşleşen bağlantılar veritabanı oluşturuyorum. Şu anda

result = self._openurl(self.mainurl) 
content = result.read() 
html = lxml.html.fromstring(content) 
print lxml.html.find_rel_links(html,'href') 

Answer 1

Kullanım XPath ... LXML ve html tüm <a href> 's kapmak için nasıl anlamak ile şaşırıp. Böyle bir şey (buradan test edemez): iterlinks ile

urls = html.xpath('//a/@href') 

Answer 2

, Lxml bu görev için mükemmel bir işlev sağlar.

bir eylem, arşiv, arka plan, alıntı classid kod temeli, veri, href, longdesc, profil, src, USEMAP her bağlantıyı [...] Bu verim (öğe, öznitelik, bağlantı, pos)

, dynsrc veya lowsrc özniteliği.

Answer 3

Alternatif bir lxml tabanlı çözüm sağlamak istiyorum.

çözüm

import urllib 
    import lxml.html 
    from lxml.cssselect import CSSSelector 
    connection = urllib.urlopen('http://www.yourTargetURL/') 
    dom = lxml.html.fromstring(connection.read()) 
    selAnchor = CSSSelector('a') 
    foundElements = selAnchor(dom) 
    print [e.get('href') for e in foundElements]