kazıyın web siteleri

Question

i Python için çok yeni ve ben bir web sitesinden veri kazıyın çalışıyorum, ama şimdiye kadar sahip olduğum, tüm sayfaları gerekir:

import requests 
from bs4 import BeautifulSoup 


r = requests.get ("http://www.somesite.com/records/08-jan-2016/") 
r.content 
soup = BeautifulSoup(r.content, "html.parser") 
full_info = soup.find_all("div", {"class": "col-sm-10"}) 

for item in full_info : print (item.text) 

Bu kod, mevcut sayfadaki verileri yazdırır, tüm sayfalardan veri almayı ve bir dosyaya nasıl aktarmayı başarabilirim.

Saygılarımızla

Answer 1

Şahsen, tarih aritmetik için datetime kütüphane kullanmak - bunu yapmak için tasarlanmış olan bu. Ancak, datetime 'un strftime yerel tabanlı olması nedeniyle, web sitesiyle eşleşen bir yerel ayarda çalışmayı düşünmüyorsanız, dizenin yapısını elle yapmak daha güvenlidir.

import datetime 
MONTH_NAMES = {1: 'jan', 2: 'feb', 3: 'mar'} # and so on 
ONE_DAY = datetime.timedelta(1) 

def date_strings(first_date, last_date): 
    current_date = first_date 
    while current_date <= last_date: 
     yield '{0.day:02}-{1}-{0.year:04}'.format(
      current_date, MONTH_NAMES[current_date.month]) 
     # If running on a US locale, you can just use: 
     # yield current_date.strftime('%d-%b-%Y').lower() 
     current_date += ONE_DAY 

first_date = datetime.date(2016, 1, 8) 
last_date = datetime.date(2016, 3, 29) 

for date_string in date_strings(first_date, last_date): 
    print(date_string) 
    # Do whatever scraping you need using date_string 

Answer 2

Yani birden çok tarih nasıl yinelendiğini yorum, büyüdü soruya ekleyin. Ben en yetkin programcı değilim, ama sözlükanahtar: değer =>ay oluşturmak: ayın gün sayısı. Daha sonra, url'ye eklenecek dizeler oluşturmak için yuvalanmış bir döngü oluşturabilirsiniz.

dates = {"jan":31, "feb":29, "mar":31} 
for month in dates: 
    for day in range(dates[month]): 
    url = "https://www.somepage.com/{0}-{1}-2016".format(str(day+1), month) 
    req = requests.get(url) 
    ...