Node.js. kullanarak birçok tutorials explaining how to scrape public websites that don't require authentication/login karşılaştım.node.js kullanarak kimlik doğrulama gerektiren siteleri nasıl tarayabilirim?
Birisi, node.js'yi kullanarak oturum açmayı gerektiren sitelerin nasıl kırpılacağını açıklayabilir mi?
Kullanım Mikeal's Request kütüphane, böyle destekleyen çerezleri etkinleştirmeniz gerekir: POST yaparken
var request = request.defaults({jar: true})
Yani önce o sitede bir kullanıcı adı oluşturmanız gerekir (el) ve kullanıcı adı ve params olarak şifreyi geçmesi bu siteye istek. Bundan sonra sunucu, İstek'in hatırlayacağı bir çerezle yanıt verecektir, böylece o siteye giriş yapmanızı gerektiren sayfalara erişebileceksiniz.
Not: giriş sayfasında reCaptcha gibi bir şey kullanılıyorsa bu yaklaşım çalışmaz.
@ alessioalex Teşekkür ederim. Önerinizi deneyip burada durumu güncelleyeceğim. – ekanna
Lütfen bana söylediğim gibi bunu yapmamın nasıl bir örneğini verebilir misiniz, ancak şanssız bir asp.net sitesi çıkarmaya çalışıyorum. –
Bir kod örneğini bir yere gönderirseniz (bir örnek veya bir şey), bu yüzden yanlış yaptığınızı anlayabilirim. Bu şekilde daha hızlı olurdu. – alessioalex
Veya superagent kullanarak:
var superagent = require('superagent')
var agent = superagent.agent();
agent sonra alma ve sadece agent.get, agent.post() normal vb çerezler, işaret edenlere, ayarı idare edecek kalıcı bir tarayıcıdır.
Bu işe yarar mısın? Eğer yaptıysanız lütfen bir kod örneği gönderin. – codecowboy
Olası kopyalama [node.js kullanılarak kimlik doğrulama gerektiren bir web sitesinin kazınması] (http://stackoverflow.com/questions/17765525/scraping-a-website-which-requires-authentication-using-node-js) – velop