11
Ruby'de web tarayıcısı yazmak için önerileriniz nelerdir? Herhangi bir lib, mekanize etmekten daha mı iyidir?Web tarayıcısı ruby içinde
A
cevap
9
Sayfaların içeriğini almak istiyorsanız, en basit yol open-uri işlevlerini kullanmaktır. Ek taşlar gerektirmezler. Sadece
http://ruby-doc.org/stdlib-2.2.2/libdoc/open-uri/rdoc/OpenURI.html örneğin da olabilir Nokogiri veya diğer mücevherler, yararlı XPATH-teknoloji kullanabilirsiniz içeriği ayrıştırmak için ... require 'open-uri' zorunda ve. Diğer ayrıştırma kütüphaneleri just here on SO'u bulabilirsiniz.
25
anemone ürününü denemeliyim. Kullanımı basit, özellikle basit bir tarayıcı yazmanız gerekiyorsa. Benim düşünceme göre, çok iyi tasarlanmış. Örneğin, sitemdeki 404 hatasını çok kısa sürede aramak için bir ruby script yazdım.
+0
Yakında aynı işlevleri uygulayacağım için bu konuda bir özet yazmalısın. Diğerleri de muhtemelen kullanacaktır. – cha55son
5
Mekanize/Nokogiri'nin üzerine kurulmuş olan wombat'u incelemek isteyebilirsiniz ve sayfaları ayrıştırmak için DSL (örneğin, Sinatra gibi) sağlar. Oldukça düzgün :)
1
Bir örümcek olmadığı pioneer gem üzerinde çalışıyorum, ama sadece son zamanlarda Klepto diye bir tane serbest
+1
En iyi Ben 'web örümcek' ve 'web gezgin' eşanlamlı olduğunu söyleyebilirim. –
+0
Türkçe, benim ana dilim değil, bu yüzden yanılıyor olabilirim, ama bana öyle geliyor ki, bu paletli daha genel bir şey örümcek. Örümcek bir çok şeyden ibaret bir şey: bağlantılar üzerinden tekrar tekrar gezinmek. Ve öncü, küçük bir çerçeve gibidir. Kendi örümcekinizi öncü ile yazabilirsiniz ve daha fazlasını yapabilirsiniz;). Ancak, öncü kullanmak için daha fazla iş yapmanız gerekir, ancak daha çeviktir. – fl00r
+1
[Wikipedia] 'ya (http://en.wikipedia.org/wiki/Web_crawler) göre: "Web tarayıcıları için diğer terimler karıncalar, otomatik dizinleyiciler, botlar, Web örümcekleri, Web robotlarıdır ..." [Web tarayıcısı için StackOverflow eş anlamlı] (http://stackoverflow.com/tags/web-crawler/synonyms). –
0
em-synchrony gem basit asenkron paletli tabanlı. Onun oldukça basit bir DSL var, capibara üzerine inşa edilmiş ve çok sayıda harika konfigürasyon seçeneği var.
+2
Cevabınızı genişletip, bu harika seçenekler hakkında daha fazla bilgi ve kitaplığınızın görev için neden daha iyi olduğunu açıklarsanız iyi olur. Ayrıca kendi projelerinize link gönderirken dikkatli olun, topluluk bunu biraz spam olarak görebilir. – Kev
İlgili konular
- 1. Web tarayıcısı perl kullanarak
- 2. Web tarayıcısı ve web görünümünde pdf indirme
- 3. WPF web tarayıcısı - HTML indirilsin mi?
- 4. .NET web tabanlı nesne tarayıcısı/denetçisi
- 5. Web tarayıcısı için tipik nezaket faktörü?
- 6. Web tarayıcısı kontrolünün ekran görüntüsünü alın?
- 7. C# tabanlı bir web tarayıcısı var mı?
- 8. C# WinForms: Bir web tarayıcısı denetimi kullanmalıyım
- 9. veritabanı bağlantısı ruby içinde havuzlama
- 10. Can Selenium web tarayıcısı zaten tarayıcı penceresini açıyor mu?
- 11. Web tarayıcısı kullanarak farklı firefox sürümünü nasıl kullanabilirim?
- 12. Python web tarayıcısı paketini kullanarak varolan tarayıcı sekmesini kapatma
- 13. Komut satırından bir web tarayıcısı başlatma Dart betiği
- 14. Java web uygulamasında parmak izi tarayıcısı nasıl bütünleştirilir?
- 15. Web Tarayıcısı Aktarımı için Yerel Bir Uygulama nasıl yapılır?
- 16. Herhangi bir java script web tarayıcısı çerçevesi var
- 17. Web tarayıcısı denetimini kullanarak yerel PDF dosyasını vba görüntüleme
- 18. FireMonkey uygulamasında kullanmak için bir web tarayıcısı bileşeni var mı?
- 19. ruby içinde "gets" hakkında soru
- 20. socket.io ve ruby içinde eventmachine
- 21. Erb içinde Ruby üçlü operatör?
- 22. Tarayıcının içinde extjs ile bir pencere tarayıcısı oluşturun
- 23. Android Studio içindeki Nesne Tarayıcısı
- 24. ASP.NET benzetim tarayıcısı geri düğmesi
- 25. Javascript kontrol tarayıcısı
- 26. Windows toplu dosya tarayıcısı
- 27. Wi-Fi üzerinden web tarayıcısı üzerinden dosya yükleyip indirdiğimde Android'de hangi web sunucusunu seçmeliyim?
- 28. PHP tarayıcısı wikipedia için çalışmadı
- 29. Ruby on Rails web sitesine iPhone uygulaması
- 30. emacs içinde girintide girinti ruby kodu
Hangi yolla daha iyi? –
Mechanize, bir web sitesinde gezinmeniz, formları doldurmanız, kimlik doğrulamanız vs. için harika bir araçtır. Örümcek değildir, çünkü her şeyi nasıl yapacağınızı söylemeniz gerekir. Anemone'u denemedim ama özellikleri iyi görünüyor. Ne yaparsanız yapın, karşı çalıştığınız sitenin 'robots.txt' dosyasını onurlandırdığınızdan emin olun veya kodunuzu geri gönderin. Kötü huylu örümcekler seni yasaklayabilir. Bir örümcek yazmak o kadar da zor değil; Hatırlayabildiğimden daha çok yazdım. İyi bir vatandaş olan ve sağlam olan bir yazı yazmak daha büyük bir görevdir, bu yüzden eğer yapabiliyorsanız önceden yapılmış bir tekerleğe geçin. –
"[Bazı iyi Ruby tabanlı web tarayıcıları nelerdir?]" (Http://stackoverflow.com/questions/4981379/what-are-some-good-ruby-based-web-crawlers/4981595 " –