Birden çok dosyadan okuma yapın ve tek bir dosyada sıkıştırın

Question

Hadoop'a Yeni.

Veriler, farklı dizinlerdeki birden çok dosyaya yükleniyor. Görev, birden fazla dosya okumak ve tek bir dosyaya yazmak/sıkıştırmaktır. Bu görevi gerçekleştirmek için en iyi seçeneklerin neler olduğunu paylaşabilir misiniz?

Answer 1

kullanımı cat ve boru sonucu put

hadoop fs -cat /directorypath/*.txt | hadoop fs -put - outputfilepath.txt 

için