Çift tırnaklı alanlarda \ n ile CSV dosyasını ayrıştırma

Question

Çift tırnaklı alanlarda kırılma çizgisine sahip bir CSV dosyası ayrışıyorum. Dosya satırını groovy komut dosyasıyla okuyorum ama eksik belirteçleri almaya çalıştığımda bir ArrayIndexOutBoundException alıyorum.

Bu karakterleri kaldırmak için dosyayı önceden işlemeye çalışıyordum ve bunu bazı bash komut dosyalarıyla veya groovy'nin kendisi ile yapmayı düşünüyordum.

Sorunu çözmek için kullanabileceğim herhangi bir yaklaşım önerebilir misiniz?

Sonunda bunu ve çalışır:

header1,header2,header3,header4 
timestamp, "abcdefghi", "abcdefghi","sdsd" 
timestamp, "zxcvb 
fffffgfg","asdasdasadsd","sdsdsd" 

Bu benim

def csv = new File(args[0]).text 
def bufferString = "" 
def parsedFile = new File("Parsed_" + args[0]); 

csv.eachLine { line, lineNumber -> 

    def splittedLine = line.split(','); 


    retString += new Date(splittedLine[0]) + ",${splittedLine[1]},${splittedLine[2]},${splittedLine[3]}\n"; 

     if(lineNumber % 1000 == 0){ 
       parsedFile.append(retString); 
       retString = ""; 
     } 

} 
parsedFile.append(retString); 

GÜNCELLEME

kullanıyorum harika script:

Bu

gibi CSV böyle görünüyor (İlk sütunu zaman damgası tarafından okunabilir bir tarihe formatladım):

gawk -F',' '{print strftime("%Y-%m-%d %H:%M:%S", substr($1, 0, length($1)-3))","($2)","($3)","($4)}' TobeParsed.csv > Parsed.csv 

sen kurtarmaya

Answer 1

awk @karakfa ederiz!

bu

tırnak tek sayı bölünmüş alanını anlama ve OFS ile yeni bir satır yerine varsayar orada

$ awk -F'"' '!(NF%2){getline remainder;$0=$0 OFS remainder}1' splitted.csv 

header1,header2,header3 
xxxxxx, "abcdefghi", "abcdefghi" 
yyyyyy, "zxcvb fffffgfg","asdasdasadsd" 

hallederim işlemek birlikte yeni satır bölünmüş alanlarını birleştirilecek. Basit bir şekilde yeni satır silmek istiyorsanız (bölünmüş parçalar birleştirilecek) OFS'i kaldırın. Bunun yerine (eğer alıntı herhangi bir biçimde çalışmaz gördüğünüz gibi olan) bölünmüş bunu yapmaya çalışıyor daha uygun bir CSV ayrıştırıcı kullanırsanız

Answer 2

, o zaman iyi çalışır:

@Grab('com.xlson.groovycsv:groovycsv:1.1') 
import static com.xlson.groovycsv.CsvParser.parseCsv 

def csv = '''header1,header2,header3,header4 
timestamp, "abcdefghi", "abcdefghi","sdsd" 
timestamp, "zxcvb 
fffffgfg","asdasdasadsd","sdsdsd"''' 

def data = parseCsv(csv) 
data.eachWithIndex { line, index -> 
    println """Line $index: 
       | 1:$line.header1 
       | 2:$line.header2 
       | 3:$line.header3 
       | 4:$line.header4""".stripMargin() 
} 

Hangi baskılar :

Line 0: 
    1:timestamp 
    2:abcdefghi 
    3:abcdefghi 
    4:sdsd 
Line 1: 
    1:timestamp 
    2:zxcvb 
fffffgfg 
    3:asdasdasadsd 
    4:sdsdsd