CopyFromLocal anahtarını kullanarak verileri hdfs'ye taşıma

Question

Burada neler olduğunu bilmiyorum ancak yerel dosya sistemimdeki bir dizinden basit bir dosyayı, hdfs için belirtilen dizine kopyalamaya çalışıyorum. Ben aşağıdaki komutu kullanıyorum

<name>dfs.data.dir</name> 
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value> 

and 

<name>dfs.name.dir</name> 
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value> 

- - Ben HDF'ler için dizin/home/vaibhav/Hadoop/dataNodeHadoopData aşağıdaki özellikleri kullanarak olacağını belirttiniz Benim içinde

HDF'ler-site.xml dosyasını

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data /home/vaibhav/Hadoop/dataNodeHadoopData 

, u.data dosyasını yerel dosya sistem konumundan Hdfs dizini olarak belirttiğim dizine kopyalamak için. Ama bunu yaptığımda hiçbir şey olmaz - hata yok, hiçbir şey. Ve hiçbir dosya hdsf'ye kopyalanmaz. Yanlış bir şey mi yapıyorum? Herhangi bir izin sorunu var mı?

Öneriler gerekli.

Sözde dağıtılmış tek düğüm modunu kullanıyorum.

Ayrıca, ilgili bir notta, haritayı azalttığında programın, /home/vaibhav/ml-100k/u.data olarak inputFilePath işaret edecek şekilde yapılandırmasını istediğimi sormak istiyorum. Yani, dosyayı otomatik olarak verilen konumdan hdfs'ye kopyalamaz mı?

Answer 1

dfs.data.dir ve dfs.name.dir'un iki farklı ve varolan dizini işaret ettiğine inanıyorum. Ayrıca, yapılandırmadaki dizinleri değiştirdikten sonra adeno FS'yi formatladığınızdan emin olun.

HDFS'ye kopyalanırken, hedefi yanlış bir şekilde belirliyorsunuz demektir. HDF'ler için yerel bir dosya kopyalama için doğru sözdizimi şöyledir:

bin/hadoop dfs -copyFromLocal <local_FS_filename> <target_on_HDFS> 

Örnek:

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data 

Bu HDF'ler da kullanıcının ana dizininde bir dosya my.data yaratacak. Dosyaları HDFS'ye kopyaladığınızdan önce, önce dizin içeriklerini ve dizin oluşturmayı listelemeye devam edin.