Google App Engine

Question

python'da "evrensel yeni satır" ile csv dosyasını yükle ve ayrıştırma GAE'de bir formdan bir csv/tsv dosyası yüklüyorum ve dosyayı python csv modülü ile ayrıştırmaya çalışıyorum.

here tanımındaki gibi, GAE dosyasında yüklenen dosyalar dizgilerdir.
Ben de yüklenen dize bir dosya benzeri bir nesne tedavi:

file = self.request.get('catalog') 
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab) 

Ama dosyalarında yeni hatlar mutlaka '\ n' (teşekkürler .. excel) yoktur ve bu bir hata oluşturulur:
Hata: Satılamayan alanda görülen yeni satır karakteri - dosyayı evrensel yeni satır modunda açmanız mı gerekiyor?

Evrensel yeni satırda açılan dosyalar gibi dizeleri işlemek için StringIO.StringIO'nun nasıl kullanılacağını bilen var mı? yaklaşık

Answer 1

Nasıl:

file = self.request.get('catalog') 
file = '\n'.join(file.splitlines()) 
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab) 

veya

Açıklamalarda belirttiği, csv.reader() yüzden, bir listeden girişi destekler: Gelecekteki request.get desteklerde

file = self.request.get('catalog') 
catalog = csv.reader(file.splitlines(),dialect=csv.excel_tab) 

veya eğer

modlarını okuyun:

file = self.request.get('catalog', 'rU') 
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab) 

Answer 2

here açıklanan çözüm çalışması gerekir. Her defasında bloğun 1MB'yi yükleyen bir yineleyici sınıfını tanımlayarak, .splitlines() kullanarak satırları ayırır ve daha sonra satırları CSV okuyucusuna birer birer besler, tüm satırlar tüm dosyayı yüklemeye gerek kalmadan işlenebilir belleğe.

class BlobIterator: 
    """Because the python csv module doesn't like strange newline chars and 
    the google blob reader cannot be told to open in universal mode, then 
    we need to read blocks of the blob and 'fix' the newlines as we go""" 

    def __init__(self, blob_reader): 
     self.blob_reader = blob_reader 
     self.last_line = "" 
     self.line_num = 0 
     self.lines = [] 
     self.buffer = None 

    def __iter__(self): 
     return self 

    def next(self): 
     if not self.buffer or len(self.lines) == self.line_num + 1: 
      self.buffer = self.blob_reader.read(1048576) # 1MB buffer 
      self.lines = self.buffer.splitlines() 
      self.line_num = 0 

      # Handle special case where our block just happens to end on a new line 
      if self.buffer[-1:] == "\n" or self.buffer[-1:] == "\r": 
       self.lines.append("") 

     if not self.buffer: 
      raise StopIteration 

     if self.line_num == 0 and len(self.last_line) > 0: 
      result = self.last_line + self.lines[self.line_num] + "\n" 
     else: 
      result = self.lines[self.line_num] + "\n" 

     self.last_line = self.lines[self.line_num + 1] 
     self.line_num += 1 

     return result 

Sonra şöyle diyoruz:

blob_reader = blobstore.BlobReader(blob_key) 
blob_iterator = BlobIterator(blob_reader) 
reader = csv.reader(blob_iterator)