Başlıklar tekrarlanmadan çoklu CSV dosyalarını birleştirme (Python kullanarak)

Question

Python ile yeni başlayan biriyim. Birden fazla CSV dosyam var (10'dan fazla) ve hepsinin aynı sayıda sütun var. Tüm bunları, üstbilgileri tekrar etmeyeceğim tek bir CSV dosyasına birleştirmek istiyorum.

Temel olarak, tüm üstbilgileri olan ilk satırı kullanmam gerekiyor ve bundan sonra birleştirilen tüm CSV dosyalarındaki tüm satırlara ihtiyacım var. Bunu nasıl yaparım?

Herhangi bir yardım için teşekkür ederiz.

Teşekkürler!

Answer 1

, hiç csv modülünü kullanmadan yapabilirsiniz:

import glob 

interesting_files = glob.glob("*.csv") 

header_saved = False 
with open('output.csv','wb') as fout: 
    for filename in interesting_files: 
     with open(filename) as fin: 
      header = next(fin) 
      if not header_saved: 
       fout.write(header) 
       header_saved = True 
      for line in fin: 
       fout.write(line) 

Answer 2

bir Linux sistemi üzerinde ise:

head -1 director/one_file.csv > output csv ## writing the header to the final file 
tail -n +2 director/*.csv >> output.csv ## writing the content of all csv starting with second line into final file 

Answer 3

Kişisel girinti yanlış, sen bloğu ile iç döngü koymak gerekir. Ayrıca dosya nesnesini writer.writerows'a aktarabilirsiniz.

import csv 
with open('output.csv','wb') as fout: 
    wout = csv.writer(fout) 
    interesting_files = glob.glob("*.csv") 
    for filename in interesting_files: 
     print 'Processing',filename 
     with open(filename,'rb') as fin: 
       next(fin) # skip header 
       wout.writerows(fin) 

Answer 4

Ek yükü dikkate almazsanız, ortak python dağıtımlarıyla birlikte gönderilen pandaları kullanabilirsiniz. E-tablo tablolarıyla daha fazlasını yapmayı planlıyorsanız, kendi kitaplıklarınızı yazmaya çalışmak yerine pandaları kullanmanızı öneririm.

import pandas as pd 
import glob 
interesting_files = glob.glob("*.csv") 
df_list = [] 
for filename in sorted(interesting_files): 
    df_list.append(pd.read_csv(filename)) 
full_df = pd.concat(df_list) 

full_df.to_csv('output.csv') 

Sadece biraz daha pandalar. E-tablo benzeri verilerle başa çıkılacağı için ilk satırın bir başlık olduğunu biliyor. Bir CSV'yi okurken, veri tablosunu pandalardaki standart veri türü olan dataframe'un meta verileri olarak tutulan başlıktan ayırır. Bu dataframes'un birçoğuna uyuyorsanız, başlıkları aynıysa sadece veri bölümlerini birleştirir. Başlıklar aynı değilse, başarısız olur ve size bir hata verir. Dizininizin başka bir kaynaktan gelen CSV dosyalarıyla kirlenmesi durumunda muhtemelen iyi bir şey.

Başka bir şey: interesting_files'un çevresine sorted() ekledim. Dosyalarınızın sırayla isimlendirildiğini ve bu siparişin tutulması gerektiğini kabul ediyorum. Küre hakkında emin değilim, ancak os işlevleri, adlarına göre sıralanmış dosyaları döndürmek zorunda değil. Ben en iyi yanıtı @valentin gelen biri olduğunu düşünürken