nodejs için Scrapy gibi bir şey olup olmadığını bilmek isterim. değilse, basit bir sayfa indirmeyi ve cheerio kullanarak ayrıştırma hakkında ne düşünüyorsunuz? daha iyi bir yol var mıScrapy gibi bir araç?
cevap
Python'da Scrapy gibi tüm web sitelerini taramak/dizine eklemek için böylesine güçlü bir çözüm görmedim, bu yüzden kişisel olarak web sitelerini taramak için Python Scrapy kullanıyorum.
Ancak, sayfalardan veri kazıma işlemi için nodejs'de casperjs bulunmaktadır. Bu çok güzel bir çözümdür. Ayrıca, ajax web siteleri için de çalışır. açısal-js sayfaları. Python Scrapy ajax sayfalarını ayrıştıramaz. Bir veya birkaç sayfa için veri kazıma için CasperJs kullanmayı tercih ediyorum.
Cheerio casperjs'den çok daha hızlıdır, ancak ajax sayfaları ile çalışmaz ve casperjs gibi bir kodun böyle iyi bir yapısı yoktur. Bu yüzden cheper paketi kullanabilseniz bile casperjileri tercih ederim.
Kahve-komut örneği: Bu modül konfigüre edilemez
casper.start 'https://reports.something.com/login', ->
this.fill 'form',
username: params.username
password: params.password
, true
casper.thenOpen queryUrl, {method:'POST', data:queryData}, ->
this.click 'input'
casper.then ->
get = (number) =>
value = this.fetchText("tr[bgcolor= '#AFC5E4'] > td:nth-of-type(#{number})").trim()
Henüz bir cevaba gerek duyuyorsanız, asla test etmedim, ancak hiçbir zaman yardımcı olamadığını düşünüyorum. mutlu hurdaya.
- 1. Scrapy
- 2. Scrapy Shell ve Scrapy Splash
- 3. scrapy:
- 4. Scrapy
- 5. Scrapy
- 6. metin scrapy
- 7. scrapy: yöntemlerle
- 8. ImportError: Scrapy
- 9. Scrapy - xPathSelector
- 10. scrapy istek
- 11. Keynote'taki gibi görünen araç çubuklarını nasıl yapabilirim?
- 12. scrapy ayarlarını
- 13. ubuntu'da TortoiseSVN (Windows) gibi araç nedir?
- 14. Scrapy - Bir öğenin sessizce bırakılması
- 15. Android için mekanize etmek gibi bir araç var mı?
- 16. WPF araç ipucu nasıl bir konuşma balonu gibi çizilir?
- 17. JQP'nin jquery'de xml getirilmesi gibi varolan bir araç var mı?
- 18. COM kütüphaneleri için Reflektör gibi bir araç var mı?
- 19. Bazı bağlantılı çerçeveler neden bir parça Lego gibi görünürken, diğerleri bir araç kutusu gibi görünüyor?
- 20. Bir GhostDoc türü araç için alternatif araç
- 21. Bir python projesinde Scrapy taramasını nasıl yapabilirim?
- 22. Selenyumun Scrapy ile Entegrasyonu
- 23. scrapy code düzgün çalışmıyor
- 24. Scrapy kimliği doğrulanmış tarama
- 25. Scrapy BaseSpider: Nasıl çalışır?
- 26. Scrapy SgmlLinkExtractor soru
- 27. scrapy örümcek yeniden nasıl
- 28. WPF: bir araç çubuğu
- 29. Bir döngü içinde Scrapy Itemloader'ı kullanma
- 30. scrapy: Örümcek kapandığında bir işlev çağırın
. sadece işletme adını ve telefonunu döndürür. Scrappy olarak değil, olası bir çözüm buldum. Ancak Cheerio kullanarak sayfayı manipüle etmek mümkün olurdu. Jquery'yi kullanmak gibi. – user2422940