node.js'de ekran kazıma işleminin en zarif yolu nedir?

Question

node.js.'de kapsamlı ekran kazıma kullanan bir web uygulamasını bir araya getirme sürecindeyim. Her köşede akıntıya karşı savaştığımı hissediyorum. Bunu yapmanın daha kolay bir yolu olmalı. En önemlisi, iki şey rahatsız edici şunlardır:

1. Kurabiye yayılım. 'Set-cookie' dizisini yanıt başlıklarından çıkarabiliyorum, ancak diziden cookie'leri ayrıştırmak için string işlemleri yapmak son derece hackish. Aşağıdaki yönlendirmeyi yeniden yönlendirin. Her bir isteğin, 302 durum kodu döndüğünde yeniden yönlendirmeler izlemesini istiyorum.

Ben yararlı görünüyordu iki şey geldi ama sonunda kullanamadı: '

• http://zombie.labnotes.org/, ancak HTTPS desteğine sahip değil, bu yüzden can kullan.

• http://www.phantomjs.org/, ancak kullanamazsınız çünkü node.js. ile entegre (görünmüyor). Yaptığım şey için de oldukça ağır.

çerezleri yaymak herhangi bir JavaScript ekrandan veri-vari kütüphaneler, orada yönlendirmeleri takip edin ve HTTPS desteğini musunuz? Bunu nasıl daha kolay hale getirebileceğine dair herhangi bir işaret var mı?

Answer 1

mikeal'dan https://github.com/mikeal/request'u kontrol etmek isteyebilirsiniz, sadece onunla sohbet odasına konuştum ve o anda çerezleri işlemediğini söylüyor ama bu arada sizin için bunları yürütmek üzere bir alt modül yazabilirsiniz. bunu yönlendirmek açısından

güzel işler :)

Answer 2

i aslında çok güzel, sen Jquery ve güzergahları kullanabilir oluyor şimdi https://github.com/mikeal/spider bir kazıyıcı kütüphane var.

fantom oldukça ağır olmasına rağmen

https://github.com/sgentle/phantomjs-node

, aynı zamanda SSL, çerezler, ve her şeyi destekler:

geribildirim Birisi node.js için phantomjs modülü yapılan çıkıyor karşılama :)

Answer 3

olduğunu Başka bir tipik bir tarayıcı destekler (çünkü bir web tarayıcısı olduğu için).

Şunu bir vuruş yapın, tam olarak aradığınız şey bu olabilir.