Büyük miktarda tweet kazıma nasıl yapılır

Question

Büyük ve büyük miktarlarda Twitter verilerinin silinmesi gereken bir python projesi yapıyorum. 1 milyon kullanıcı gibi bir şey ve tüm tweet'lerinin kazınması gerekiyor.

Daha önce Tweepy ve Twython kullandım, ancak Twitter sınırına çok hızlı girdim.

Duyarlılık analizi şirketleri vb. Verilerini nasıl alır? Tüm bu tweetleri nasıl alırlar? Bunu bir yerde mi satın alıyorsunuz yoksa farklı proxy'ler veya benzeri şeylerle yinelenen bir şeyler mi yapıyorsunuz?

Infochimps gibi firmalar Trst rank ile nasıl bütün verileri alır? * http://www.infochimps.com/datasets/twitter-census-trst-rank

Answer 1

, Heyecan Streaming API sunuyor.

Akış API'sı, Twitter Firehose'un gerçek zamanlı örneğidir. Bu API, veri yoğun ihtiyaçları olan geliştiriciler içindir. veri madenciliği ürünü oluşturmak veya analitik araştırması ile ilgileniyorsanız, Akış API'si bu tür şeyler için en uygunudur.

Eğer eski bilgilere erişmek çalışıyorsanız, onun şiddetli istek limitlerine REST API gitmek için tek yoldur.

Answer 2

Bunu yapmaya çalıştığınız şey için çalışıp çalışmayacağını bilmiyorum, ancak Tweets2011 veri kümesi son zamanlarda piyasaya sürüldü. açıklamasından

: TREC 2011 mikroblog parçanın parçası olarak, Heyecan 23 Ocak ve 8 Şubat arasında örneklenen yaklaşık 16 milyon tweet için belirleyicilerinde sağlanan

, 2011. korpus bir olacak şekilde tasarlanmıştır Yeniden kullanılabilir, twittersphere temsili örneği - yani hem önemli hem de spam tweetleri dahildir. Belirli kullanıcılardan son tweet istiyorsanız