İki yinelenen ile yineleme için zip() alternatifi

Question

Eşzamanlı olarak yinelenmesi gereken iki büyük (~ 100 GB) metin dosyam var.

Zip, daha küçük dosyalar için iyi çalışıyor ancak aslında iki dosyadan bir satır listesi oluşturduğunu öğrendim. Bu, her satırın hafızada saklandığı anlamına gelir. Hatlarla bir kereden fazla bir şey yapmam gerekmiyor.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

bana ram> kullanmadan bu iki dosyalar arasında 200 GB yineleme sağlayacak bir jeneratör görevi gören zip() bir alternatif var mı?

Answer 1

itertools dosyaları farklı boyutlarda ise daha küçük dosyaya duracaktır izip olarak, izip_longest kullanabilir

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

bunu yapmaz bir işlevi izip sahiptir.

Answer 2

Böyle bir şey mi var? Wordy, ama istediğin gibi görünüyor.

Bu, basit zip işlevinden daha fazla ihtiyaç duyulan iki dosya arasındaki anahtarları eşleştirmek için uygun birleştirme gibi şeyler yapmak için ayarlanabilir. Ayrıca, bu, SQL OUTER JOIN algoritmasının, zip'ten ne kadar farklı ve daha tipik dosyalardan farklı olduğunu da kesmez. En kısa dosyaya kesmek istiyorsanız

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

: Else

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

Ya

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

Sen pad için böyle izip_longest kullanabilirsinizkısa piton 2,6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

boş hatlar

ile dosya veya python3.1 python3 için

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

yılında, izip_longest aslında zip_longest olduğunu.