Kıvılcım yinelemeli HDFS dizini

Question

HDFS'de bir dizin dizinim var ve dizinler üzerinde yinelemek istiyorum. SparkContext nesnesini kullanarak Spark ile bunu yapmanın kolay bir yolu var mı?

Answer 1

org.apache.hadoop.fs.FileSystem'u kullanabilirsiniz. Özellikle,

Ve Spark ile FileSystem.listFiles([path], true) ...

FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true) 

Answer 2

import org.apache.hadoop.fs.{FileSystem,Path} 

FileSystem.get(sc.hadoopConfiguration).listStatus(new Path("hdfs:///tmp")).foreach(x => println(x.getPath)) 

Bu benim için çalıştı.

Kıvılcım sürümü 1.5.0-cdh5.5.2

Answer 3

Siz de birisi ilgileniyor varsa burada

val listStatus = org.apache.hadoop.fs.FileSystem.get(new URI(url), sc.hadoopConfiguration).globStatus(new org.apache.hadoop.fs.Path(url)) 

     for (urlStatus <- listStatus) { 
     println("urlStatus get Path:"+urlStatus.getPath()) 
} 

Answer 4

PySpark versiyonu globStatus durumu ile deneyebilirsiniz

:

hadoop = sc._jvm.org.apache.hadoop 

fs = hadoop.fs.FileSystem 
conf = hadoop.conf.Configuration() 
path = hadoop.fs.Path('/hivewarehouse/disc_mrt.db/unified_fact/') 

for f in fs.get(conf).listStatus(path): 
    print f.getPath() 

Bu Özellikle case disc_mrt.unified_fact Hive tablosunu oluşturan tüm dosyaların listesini alırım.() Dosya boyutunu almak için buraya açıklanan getLen gibi FileStatus nesnesinin

diğer yöntemler:

Class FileStatus