IP adresini rubire olarak değiştir

Question

Şu anda bilgisayarımda bir kazıma programı çalıştırıyorum. Bu büyük boyutta ve maalesef bu yüzden IP adresim kazımak zorunda olduğum siteden yasaklandı. Ruby'de, hatta basit bir şekilde, IP adresimi değiştirebilirim, böylece bu siteye kazımak için tekrar girebilirim, ya da şanstan kurtulurum ve başka bir yere başvurmak zorunda kalabilirim. çözümleri. Bu bir 403 Yasak Hatadır ve ne olursa olsun ben nokogiri kullanıyorum ve kullanıcı aracım ruby, teşekkürler.

Answer 1

Bir proxy üzerinden bağlantı kurabilirsiniz ve bir proxy adresleri listeniz varsa, Ruby'yi proxy'yi her x dakikada bir değiştirmesini söyleyebilirsiniz; bu, web sitesinin sahip olduğunuzu düşündüğü IP'de bir değişikliğe neden olur. İşte bir proxy üzerinden google arama sonuçlarını kazımak için bir kod, bir proxy listesi kullanmak için kod biraz uzatmak.

require 'rubygems' 
require 'mechanize' 

agent = Mechanize.new 
agent.set_proxy '78.186.178.153', 8080 
page = agent.get('http://www.google.com/') 

google_form = page.form('f') 
google_form.q = 'new york city council' 

page = agent.submit(google_form, google_form.buttons.first) 

page.links.each do |link| 
    if link.href.to_s =~/url.q/ 
     str=link.href.to_s 
     strList=str.split(%r{=|&}) 
     url=strList[1] 
     puts url 
    end 
end