bir piton komut

Question

hızını artırma Ben dizeleri listesini içeren bir giriş dosyası var.

ikinci hatta başlayarak her dördüncü hat üzerinden yineleme ediyorum. bu satırların her birinde itibaren

ben ilk ve son 6 karakter yeni bir dize yapmak ve bu yeni dize tektir yalnızca bir çıkış dosyasında bu koyun.

bunu yapmak yazdığı kod çalışır, ancak ben çok büyük derin sıralama dosyaları ile çalışıyorum ve bir gün boyunca çalıştıktan ve çok ilerleme olmamıştır. Yani mümkünse bunu daha hızlı hale getirmek için herhangi bir öneri arıyorum. Teşekkürler.

def method(): 
    target = open(output_file, 'w') 

    with open(input_file, 'r') as f: 
     lineCharsList = [] 

     for line in f: 
      #Make string from first and last 6 characters of a line 
      lineChars = line[0:6]+line[145:151] 

      if not (lineChars in lineCharsList): 
       lineCharsList.append(lineChars) 

       target.write(lineChars + '\n') #If string is unique, write to output file 

      for skip in range(3): #Used to step through four lines at a time 
       try: 
        check = line #Check for additional lines in file 
        next(f) 
       except StopIteration: 
        break 
    target.close() 

Answer 1

listesi yerine bir set olarak lineCharsList tanımlayan deneyin:

lineCharsList = set() 
... 
lineCharsList.add(lineChars) 

Yani in operatörün performansını artırmak gerekir. Ayrıca, eğer bellek hiç sorun değilse, tüm çıktıları bir liste içinde biriktirmek ve hepsini birden çok write() işlem yapmak yerine, sonuna kadar yazmak isteyebilirsiniz.

Answer 2

Sen https://docs.python.org/2/library/itertools.html#itertools.islice kullanabilirsiniz:

import itertools 

def method(): 
    with open(input_file, 'r') as inf, open(output_file, 'w') as ouf: 
     seen = set() 
     for line in itertools.islice(inf, None, None, 4): 
      s = line[:6]+line[-6:] 
      if s not in seen: 
       seen.add(s) 
       ouf.write("{}\n".format(s)) 

Answer 3

Oscar önerildiği gibi set kullanmanın yanı sıra, aynı zamanda satırları atlamak için islice kullanabilirsiniz ziyade for döngüsü kullanın.

this post'da belirtildiği gibi, islice yineleyiciyi C içinde önceden işlemden geçirir, dolayısıyla döngü için düz bir vanilya python'u kullanmaktan çok daha hızlı olmalıdır.

Answer 4

deneyin bu şartlara bağlı olarak, daha verimli olabilir olarak

lineChars = ''.join([line[0:6], line[145:151]])

ile

lineChars = line[0:6]+line[145:151]

değiştirilmesi. Sorunu varsayarak