Python eşdeğer aşağıda iki astar benzer Python sıkıştırılmış bir dosyada, dosya çıktı yazmak için nasıl anlamaya ihtiyacımız

Question

bir boru kullanarak Perl gzip Bu, ZIPPED dosya kümesine ne yazdıracağınızı sıkıştırmak için Unix gzip dosyasını "zipped.gz" dosyasına kullanır.

böyle Python Bunu yapmak için "ithal gzip" kullanmayı biliyor:

import gzip 
zipped = gzip.open("zipped.gz", 'wb') 
zipped.write("Hello world\n") 

Ancak, bu son derece yavaştır. Profiler göre, bu yöntem kullanarak çeşitli çıkış dosyalarına 200 GB sıkıştırılmamış veri yazıyorum çünkü benim çalışma süresinin% 90 kadar alır. Dosya sisteminin buradaki problemin bir parçası olabileceğinin farkındayım, ancak bunun yerine Unix/Linux sıkıştırması kullanarak bunu yönetmek istiyorum. Bu kısmen, aynı modülü kullanarak açma işlemini yavaşlattığını duyduğumdan dolayı. gzip module kullanma

Answer 1

ChristopheD'nin subprocess module kullanım önerisi bu soruya uygun bir cevaptır. Ancak, performans sorunlarınızı çözecek bana açık değil. Emin olmak için yeni kodun performansını ölçmek zorunda kalacaksınız. sen, sen POPEN nesnesinin stdin özelliğini kullanmayı düşünmelisiniz alt sürecine büyük miktarda veri göndermek gerekir yana

import subprocess 

p = subprocess.Popen("gzip -c > zipped.gz", shell=True, stdin=subprocess.PIPE) 
p.communicate("Hello World\n") 

:

sizin örnek kodu dönüştürün. Örneğin:

import subprocess 

p = subprocess.Popen("gzip -c > zipped.gz", shell=True, stdin=subprocess.PIPE) 
p.stdin.write("Some data") 

# Write more data here... 

p.communicate() # Finish writing data and wait for subprocess to finish 

Ayrıca this question faydalı görüşülecek bulabilirsiniz. Böyle

Answer 2

olan resmi tek yönlü-to-do-it ve herhangi başka bir saf piton yaklaşımı daha hızlı gidecek düşüktür. Bu özellikle doğrudur, çünkü verilerinizin boyutu bellek içi seçenekleri dışlar. Büyük olasılıkla, en hızlı yol, tüm dosyayı diske yazmak ve bu dosyada gz'u aramak için subprocess'u kullanmaktır.

Answer 3

deneyin şey:

from subprocess import Popen, PIPE 
f = open('zipped.gz', 'w') 
pipe = Popen('gzip', stdin=PIPE, stdout=f) 
pipe.communicate('Hello world\n') 
f.close()