Python, "warc.gz" dosyasını tamamen okuyamaz.

Question

Çalışmalarım için web sitelerini kazıyorum ve bunları gziplenmiş web arşivlerine ("warc.gz" uzantısıyla) yazdım. Python 2.7.11 ve warc 0.2.1 kütüphanesini kullanıyorum.

Dosyaların çoğunda bunları warc-library ile tamamen okuyamadığımı fark ettim. Örneğin, warc.gz dosyasının 517 kaydı varsa, bunlardan sadece 200'ü okuyabilirim.

Bazı araştırmalardan sonra, bu sorunun yalnızca gzipli dosyalar ile meydana geldiğini öğrendim. "Warc" uzantılı dosyalar bu soruna sahip değil.

Bunun için bazı çözümlerin (https://github.com/internetarchive/warc/issues/21) yanı sıra bunun için bir çözüm bulunmadığını öğrendim.

Python 2.7.11'de "gzip" dosyasında bir hata olabileceğini tahmin ediyorum. Birisi bununla ilgili deneyime sahip ve bu sorun hakkında neler yapılabileceğini biliyor mu?

Şimdiden teşekkürler!

Örnek:

böyle yeni warc.gz dosyaları oluşturmak:

import warc 
warc_path = "\\some_path\file_name.warc.gz" 
warc_file = warc.open(warc_path, "wb") 

kullandığım kayıtları yazmak için:

Bu mükemmel "warc.gz" yaratır Dosyalar. Onlarla problem yok. "\ R \ n" dahil olmak üzere tüm doğru. Ama bu dosyaları okuduğumda sorun başlıyor.

dosyalarını okumak için kullanıyorum:

warc_file = warc.open(warc_path, "rb") 

döngü için kayıtlar arasında kullandığım:

for record in warc_file: 
    ... 

sorun değil tüm kayıtları bu "warc.gz" dosyası için döngü sırasında bulunan olmasıdır Hepsi "warc" dosyaları için bulunurken. Her iki dosya türüyle çalışmak da warc-kütüphanesinde ele alınmaktadır.

Answer 1

özel gzipwarc.utils.FilePart ile warc.gzip2.GzipFile dosya bölme taşıma ve warc.warc.WARCReader okuma (piton 2.7.9, 2.7.10 ve 2.7.11 ile test) bir bütün olarak kırılmış gibi görünüyor. receives no data instead of a new header olduğunda kısa durur.

Temel stdlib gzip kolları gibi görünüyor sadece iyi ve bu nedenle bu yanı çalışması gerekir catenated dosyalar:

import gzip 
import warc 

with gzip.open('my_test_file.warc.gz', mode='rb') as gzf: 
    for record in warc.WARCFile(fileobj=gzf): 
     print record.payload.read()