Satır sayısı satır sayısı csv.DictReader

Question

Bir csv DictReader nesnesine (Python 3.1 kullanarak) sahibim, ancak okuyucusunda bulunan satır/satır sayısını bilmek istiyorum. aşağıdaki gibi gibi bir şey ...

myreader = csv.DictReader(open('myFile.csv', newline='')) 

totalrows = ? 

rowcount = 0 
for row in myreader: 
    rowcount +=1 
    print("Row %d/%d" % (rowcount,totalrows)) 

ben okuyucu ile yineleme tarafından toplam alabilir biliyorum, ama daha sonra 'için' döngü çalıştıramadı. Okuyucunun bir kopyasını oluşturabilirim ancak bir yineleyicinin nasıl kopyalanacağını bulamıyorum.

Ben de

totalrows = len(open('myFile.csv').readlines()) 

kullanabilirsiniz ama o dosyanın gereksiz bir yeniden açılmasını görünüyor. Mümkünse sayımı DictReader'dan almayı tercih ederim.

Herhangi bir yardım için teşekkür ederiz.

Alan

Answer 1

rows = list(myreader) 
totalrows = len(rows) 
for i, row in enumerate(rows): 
    print("Row %d/%d" % (i+1, totalrows)) 

Answer 2

Bir yineleyici kopyalamak nasıl bulamıyor.

Bu itertool önemli yardımcı depolama alanı gerektirebilir (:

yakın itertools.tee en dokümanlar açıklamak olarak @JFSebastian anlaşılacağı gibi, burada en iyisi, itertools.tee, ama sadece bunun bir list yapma çok geçici verilere bağlı olarak depolanması gerekir). Genel olarak, numaralı bir yineleyici, 'dan önce başka bir yineleyici kullanılmadan önce verilerin çoğunu veya tümünü kullanıyorsa, , tee() yerine list()'u kullanmak daha hızlıdır.

Sadece bir kez dosyasını açmak gerekir

Answer 3

:

import csv 

f = open('myFile.csv', 'rb') 

countrdr = csv.DictReader(f) 
totalrows = 0 
for row in countrdr: 
    totalrows += 1 

f.seek(0) # You may not have to do this, I didn't check to see if DictReader did 

myreader = csv.DictReader(f) 
for row in myreader: 
    do_work 

olursa olsun sen iki geçiş (kayıtlarınız sabit uzunlukta ise de, yapmak zorunda ne - olası değildir - yapabildin Sadece dosya boyutunu alın ve bölün, ancak durumun böyle olmadığını varsayalım). Dosyayı tekrar açmak gerçekten çok pahalıya mal olmaz ama burada gösterildiği gibi önleyebilirsiniz. Sadece len()'u kullanmak için bir listeye dönüştürme potansiyel olarak tonlarca bellek harcayacak ve daha hızlı olmayacak.

Not: 'Pythonic' yolu += yerine enumerate kullanmaktır, fakat UNPACK_TUPLE işlemkodu yerel bir arttırılarak daha enumerate yavaşlatır ve böylece pahalı. Öyle söyleniyorsa, muhtemelen kaçınmanız gereken gereksiz bir mikro optimizasyon.

Daha Fazla Notlar: Gerçekten sadece bir çeşit ilerleme göstergesi oluşturmak istiyorsanız, mutlaka kayıt tabanlı olmak zorunda değildir. Döngüdeki dosya nesnesinde tell() kodunu kullanabilir ve yalnızca geçirdiğiniz verilerin% 'sini rapor edebilirsiniz. Biraz dengesiz olacak, ancak bir ilerleme çubuğunu garantilemek için yeterince büyük olan herhangi bir dosyadaki şanslar, kayıt uzunluğundaki sapmanın gürültüde kaybolacaktır.