Python doğrulama url bir sayfaya gider

Question

Şu anda bir yıldan fazla bir süredir depolanmış bir URL'ler (1000+) var. Devam etmek istiyorum ve hala var olup olmadığını görmek için hepsini doğrulamak istiyorum. Hepsini kontrol etmenin ve siteye geri dönmeyenlerin listesini döndürmenin en iyi/hızlı yolu nedir?

Answer 1

bu tür yavaş ama url ayrıca bir yapabilirsiniz size httplib

import httplib 

try: 
    a = httplib.HTTPConnection('google.com') 
    a.connect() 
except httplib.HTTPException as ex: 
    print "not connected" 

kullanabilirsiniz urllib2 daha canlı bir

import urllib2 

try: 
    urllib2.urlopen(url) 
    return True   # URL Exist 
except ValueError, ex: 
    return False  # URL not well formatted 
except urllib2.URLError, ex: 
    return False  # URL don't seem to be alive 

daha hızlı olup olmadığını kontrol etmek böyle bir şey kullanabilirsiniz DNS çıkışı (bir web sitesinin bulunup bulunmadığını kontrol etmek pek uygun değildir):

import socket 

try: 
    socket.gethostbyname('www.google.com') 
except socket.gaierror as ex: 
    print "not existe" 

Answer 2

Chec Bu k: o zaman

Ping in python

Sonu:

import ping, socket 
try: 
    result = ping.do_one('http://stackoverflow.com/', timeout=2) 
except socket.error, e: 
    # url cannot be reached 
    print "Error:", e