Python'un büyük bir metin dosyasını (birkaç GB) okuması için en hızlı yolu

Question

Büyük bir metin dosyasına (~ 7 GB) sahibim. Büyük metin dosyasını okumak için en hızlı yol olup olmadığına bakıyorum. Süreci hızlandırmak için, yığın-yığın-okuma olarak çeşitli yaklaşımları kullanıyorum. Örnek effbot de

saniyede metin 96.900 hatları işlemek üzere

# File: readline-example-3.py 

file = open("sample.txt") 

while 1: 
    lines = file.readlines(100000) 
    if not lines: 
     break 
    for line in lines: 
     pass # do something**strong text** 

göstermektedir. Diğer authors

from itertools import islice 

with open(...) as f: 
    while True: 
     next_n_lines = list(islice(f, n)) 
     if not next_n_lines: 
      break 
     # process next_n_lines 

list(islice(f, n)) dosyanın f sonraki n hatlarının listesini döndürür) (islice kullanmanızı öneririz. bir döngü içinde bu kullanma

Answer 1

with open(<FILE>) as FileObj: 
    for lines in FileObj: 
     print lines # or do some other thing with the line... 

n hatları

parçaları dosyayı verecek kendiniz için en hızlısı ne?