Fiyatlandırma verileri kayak.com'dan nasıl kazılır?

Question

API ile bittiği görülüyor. Onlar Search Gateway denilen çok daha az güçlü bir araç var. Bunu kullanarak uçak bileti fiyat verilerini kazımaya nasıl başlarım? Bu mümkün mü? Mümkünse PHP veya Ruby on Rails üzerinde çalışmayı tercih ederim.

Özellikle, yaklaşık 10 çift şehir arasındaki en düşük uçak bileti fiyatı hakkında veri toplamaya başlamak istiyorum. Günün her saati için veri almak istiyorum. Kanoyu el ile kontrol edebilirim, ancak bu süreci otomatik hale getirebilmek istiyorum.

Answer 1

Railscast'in screen scraping üzerinde bir bölümü vardır. Temel olarak, ihtiyacınız olan verilere ulaşmak için web sitesini ayrıştırmak için nokogiri gem'i kullanabilirsiniz.

Düzenli olarak çalıştırmak için, bunun için bir cron işi oluşturabilirsiniz. İşte ilgili bir stackoverflow question.

Siteyi bir yerde barındırmak istiyorsanız Heroku önerebilirim. Özgür olmayacak tek şey, cron işini günde bir kereden fazla çalıştırıyor. Ama eğer günde bir kez koşmakla sorun yoksa, her şey bedavaya ev sahipliği yapacak.

Answer 2

dışarı http://www.kayak.com/labs/rss/

Answer 3

çek i çeşitli otel rezervasyon siteleri kazıma ekran için kullandı, iMacros deneyin.

Ama iyi bir araçla bile, hala çok iş var. Yani sadece bir uçuş için rezervasyon yapmazdım ...

Answer 4

Python'un istek kütüphanesini kullanarak bunu yapabilirsiniz; Ancak, Kayak, otomatik komut dosyalarından ve botlardan gelen trafiği tespit etmek ve filtrelemek için çerezleri ve http başlıklarını kullanır. Bunu atlatmak için GET ve POST isteklerinin neler yapıldığını ve hangi URL'lerin ve hangi çerezlerin ayarlandığını anlamak zorundasınız. Ek olarak, doğru HTTP başlıklarını aldatmadan, komut dosyası/bot algılanır. İşte başarılı bir şekilde çalışan bir python betiği: http://www.