(piton)

Question

Ben iki tür dosyaları (A.csv & B.csv)

/data/jan.zip içeren birden fazla zip dosyaları var kıvılcım kullanarak zip dosyası içinde bir CSV dosyasının içeriğini nasıl okunur? - > A.csv & B.csv içeren
/data/feb.zip -> A.csv & B.csv

bütün zip dosyaları içindeki tüm A.csv dosyalarının içeriğini okumak istiyorum içeren pyspark kullanarak.

textFile = sc.textFile("hdfs://<HDFS loc>/data/*.zip") 

Birisi bana A.csv dosyalarının içeriğinin bir RDD'ye nasıl alınacağını söyleyebilir mi?

Answer 1

Burada zip dosyaları içindeki tüm csv dosyalarını yinelemeli olarak okumak istersiniz.

val files = sc.CSVFiles("file://path/to/files/*.zip") 
files.flatMap({case (name, content) => 
    unzip(content) 
}) 

def unzip(content: String): List[String] = { 
    ... 
}