Hadoop Dosya sistemini, hadoop yüklemesinin diski dışındaki bir fiziksel diskte nasıl saklayabilirim?

Question

Çok kipli bir küme ortamında hadoop yüklemeye çalışıyorum. Bir SSD'ye ubuntu 15.10 yükledim. SSD'ye hadoop 2.6.2'yi yüklemek ve HDFS'imi ayrı bir SATA sabit sürücüsünde tutmak istiyorum. Bunun için hangi adımları izlemeliyim?

HDF-site.xml dosyasında aşağıdaki yapılandırmalarla SSD'ye hadoop yükledim. Bu yüzden dfs.datanode.data.dir dosyasını dosyası olarak ayarladım: /// media/coea23/HDFS/hdfs/datanode. Ama datanode jps'u yürütürken göstermiyor, oysa namode kurulumunun yapıldığı SSD'de olan adenode gösteriliyor.

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:///media/coea23/HDFS/hdfs/datanode</value> 
<description>DataNode directory</description> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:///home/hduser/hdfs/namenode</value> 
<description>NameNode directory for namespace and transaction logs storage.</description> 
</property> 

Lütfen değerli öneriinizi verin. Şimdiden teşekkürler.

Kamaruddin

Answer 1

, yapılandırma dosyasında bu yapılandırmak ... Her DataNode üzerinde

HDF'ler-site.xml dosyasını:

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:///data/1/dfs/dn,file:///data/2/dfs/dn,file:///data/3/dfs/dn,file:///data/4/dfs/dn</value> 
</property> 

düzenlemek

Not :

dfs.data.dir ve dfs.name.dir kullanımdan kaldırılmıştır; dfs.data.dir ve dfs.namenode.name.dir komutunu kullanmalısınız, ancak dfs.data.dir ve dfs.name.dir hala çalışır.