Bir React web sitesini (Instagram) Cheerio ile kopyalamak mümkün mü?

Question

Node.js/Cheerio ile Instagram'ı (React ile oluşturulmuş) kazımaya çalışıyorum. Belgede hata ayıklama, döndürülen bir nesneyi gösterir, ancak tipik yanıt gibi görünmüyor.

Bunun, React ile ilgisi olduğunu tahmin ediyorum. Bunu aşmanın bir yolu var mı ve işlenmiş DOM'ı Cheerio ile ayrıştırmak için mi? Yoksa tamamen bir şeyi mi özlüyorum?

Şimdiden teşekkürler.

Answer 1

Genel durumda - web sitesi SEO dostu ise, bir web gezgininin kullanıcı aracısı dizgesini taklit ederek yapabilirsiniz. Bu, Cheerio tarafından ayrıştırılabilen bir işlenmiş DOM döndürür.

Belirli durumda - Instagram, mobil web sitelerinde işlenen bir DOM değerini döndürür. Bir cep telefonunun kullanıcı aracısı dizesini parolayın ve döndürülen verileri ayrıştırabilirsiniz.

 var options = { 
     url: user.instagram_url, 
     headers: { 
      'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4' 
     } 
     }; 

     request(options, function(error, response, html) { 
     if (!error) { 

      console.log('Scraper running on Instagram user page.'); 

      // Use Cheerio to load the page. 
      var $ = cheerio.load(html); 

      // Code to parse the DOM here 

     } 
     }