Scrubda yönlendirme bağlantılarını takip edin

Question

Bunu nasıl ayarlayabilirim? handle_httpstatus_list = [301, 302, 303] yazdım, ancak scrap yeni linkleri takip etmiyor, sadece sayfaların boş dosyalarını kaydetmeye başladı.

P.S. İngilizce benim ana dilim değil. Bunun için bana göz kulak ol.

Answer 1

Ayrıca olarak Talebinizdeki dont_redirect = true bahsetmek gerekir:

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]} 

Selamlar

Answer 2

scrapy RedirectMiddlewareDOWNLOADER_MIDDLEWARES ortamda devreye girer ve REDIRECT_ENABLED ayardır, yani varsayılan olarak yönlendirmeleri ele alır True olarak ayarlayın.