Bir facebook oyun verileri kazımak gerekir - yakut

Question

kullanılarak

Revize (açıklık soru)

Birkaç gün önceden bir facebook oyundan belirli bilgileri kazımak nasıl anlamaya çalışırken geçirdim; Ancak, tuğla duvardan sonra tuğla duvara koştum. Anladığım kadarıyla, asıl sorun şu şekildedir. İhtiyacım olan html'yi manuel olarak bulmak için Chrome'un inceleme aracı aracını kullanabilirim - bir iframe içine yerleştirilmiş gibi görünür. Ben denemek ve bu iframe kazımak Ancak, bu (özellikleri hariç) boş:

<iframe id="game_frame" name="game_frame" src="" scrolling="no" ...></iframe> 

Buna "Sayfa kaynağını" aracı bir tarayıcı kullanıyorsanız gördüğüm aynı çıkıştır. iframe'deki verileri neden göremiyorum anlamıyorum. Cevap, AJAX tarafından sonradan eklenmesi DEĞİLDİR. (Bunun nedeni, "Sayfa kaynağını görüntüle" Ajax tarafından eklenen verileri okuyabildiğinden ve ayrıca veri sayfasını görebilmemden sonra beklediğimden ve beklemeden beklediğimden beri biliyorum).

Bu durum, facebook'un ekran karşıtı kazıma işleminden kaynaklanıyor mu? Bu durumun bir yolu var mı? Yoksa sadece bir şeyi özlüyorum. Ruby'de programlıyorum ve nokogiri denedim, sonra mekanize ettik, sonra kapibara başarı olmadan.

Herhangi bir fark yaratıp yaratmadığını bilmiyorum, ancak iframe'nin iframe'in "game_frame" referansını kullanarak, bu belgede daha önce görünen bu html parçasını ifade eden bir veriyi kullanıyor olması bana öyle geliyor:

<form id="hidden_login_form_1331840407" action="" method="POST" target="game_frame"> 
    <input type="hidden" name="signed_request" autocomplete="off" value="v6kIAsKTZa..."> 
    ... 
</form> 

Orijinal soru Ben facebook oyunun HTML veri kazımak için Nokogiri kullanan bir yakut program yazdım. Şu anda, HTML'yi "inceleme elemanı" aracını kullanarak aldım ve onu bir dosyaya kaydedip oradan ayrıştırıyorum. Bununla birlikte, ruby'nin içinden bilgiye erişmeyi gerçekten çok isterim. Örneğin, programa "www.gamename.com/...?id=12345" sayfa adını aktarırdım ve facebook'a giriş yapar, o sayfaya gider ve verileri kazıyabilirim. Şu anda, bunu denerseniz, işe yaramıyor çünkü facebook'un giriş sayfasına yönlendiriliyordum. İhtiyacım olan sayfaya (sayfalara) erişmek için giriş ekranını nasıl geçebilirim?

Bunu daha önce yazdığım nokogiri kodunu kullanarak yapmak istiyorum; Ancak, eğer gerekiyorsa başka bir şey kullanarak yeniden yazabilirim. Şu anda, program bağımsız bir program - bir ray programı değil - ama bunu değiştirebilirdim. Beni Omniauth yönünde yönlendirebilecek bazı bilgiler görüyorum ama aradığım şeyden emin değilim ve aynı zamanda çok karmaşık görünüyor. Umarım daha basit bir çözüm vardır.

Teşekkür

Answer 1

Ben görevin bu tür capybara-webkit tavsiye edebilir. Bu başlık altında QtWebKit kullanır ve anlayan JavaScript:

require 'capybara-webkit' 
require 'capybara/dsl' 
require 'nokogiri' 

include Capybara::DSL 
Capybara.current_driver = :webkit 

# login 
visit("https://www.facebook.com") 
find("#email").set("user") 
find("#pass").set("password") 
find("#loginbutton//input").click 

# navigate to the JS-generated page 
visit("www.gamename.com/...?id=12345") 

# parse HTML 
doc = Nokogiri::HTML.parse(body) 

Answer 2

en kolay mekanize kullanmaktır: i webkit/windows mücevher yapı sorunlarının c ı başardı b çalışmak için alamadım rağmen

require 'mechanize' 
@agent = Mechanize.new{|a| a.user_agent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'} 
page = @agent.get 'http://www.facebook.com/' 
form = page.forms[0] 
form['email'], form['pass'] = 'me@myemail.com', 'foobar' 
form.submit 
# now you're logged in and a request like this: 
doc = @agent.get('http://www.facebook.com/').parser 
# gives you a logged in Nokogiri::HTML::Document like you're used to