Hadoop: core-site.xml içinde varsayılan FileSystem'i HDFS olarak ayarlayamıyor

Question

Hadoop 1.0.3'ü Pseudo-Distributed modunda kullanıyorum. aşağıdaki gibi Ve benim conf/çekirdek-site.xml dosyasını ayarlanır:

<configuration> 
    <property> 
     <name>fs.default.name</name> 
     <value>hdfs://localhost:9000</value> 
    </property> 
    <property> 
    <name>mapred.child.tmp</name> 
    <value>/home/administrator/hadoop/temp</value> 
    </property> 
</configuration> 

Yani benim varsayılan dosya sistemi HDF'ler olarak ayarlanır inanıyordu. Aşağıdaki kodu çalıştırdığınızda Ancak:

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 

Ben fs bir DistributedFileSystem örneği olması gerektiğini düşündük. Ancak, LocalFileSystem örneğidir.

Ama şu kodu çalıştırırsanız:

Configuration conf = new Configuration(); 
conf.set("fs.default.name", "hdfs://localhost:9000"); 
FileSystem fs = FileSystem.get(conf); 

Sonra bir DistributedFileSystem fs alabilirsiniz.

Varsayılan FileSystem'im core-site.xml dosyasında HDFS olarak ayarlanmış değil mi? Yoksa, bunu nasıl ayarlamalıyım?

Answer 1

Eclipse ortamı, ilk olarak yüklemek için Eclipse sınıf yoluna bu dosyalar eklenmedikçe, core-default.xml ve core-site.xml öğelerini bulmak için Hadoop yükleme dizini altındaki gizli dizinin yerini bilmez.

Bunlar eclipse sınıf yoluna eklenmediğinden, varsayılan core-site.xml jar dosyası hadoop - * - core.jar dosyasından yüklenir (örneğin: hadoop-0.20.2-core.jar for version Yerel sistem varsayılan dosya sistemi olan 0.20) ve dolayısıyla DistributedFileSystem yerine LocalFileSystem nesnesini görüyorsunuz.

Yani, proje özelliklerini goto, proje sınıfyolunu gölgede <HADOOP_INSTALL>/conf dizin eklemek için (proje -> özellikleri) -> Java inşa yolu -> Kütüphaneler sekmesi -> harici sınıf klasörü ekleme -><HADOOP_INSTALL>

gelen conf dizinini seçin

Yukarıdaki "/core-site.xml" ifadenizi tutulması için sınıf sınıfınıza eklemeniz gerekir ve tüm ayarlarınız varsayılan olanları geçersiz kılar.