İPLİK ResourceManager herhangi bir yardım</p> <p>ben çalıştırıyorum aşağıdaki versiyonları için şimdiden

Question

sayesinde nodemanager bağlanmıyorsunuzdur http: //: 50070 için 2 düğümün çalıştığını doğru şekilde görebiliyorum.

http: //: 8088 adresine gittiğimde sorun şu ki 0 düğüm çalışıyor.

Bunu anlıyorum: 8088, kaynak göstericiyi yansıtır ve çalışan nodemanager sayısını gösterir. Daemonların hepsi başlıyor, ancak nodemancıların kaynak göstericiye bağlanmadığı anlaşılıyor.

Bu

günlük dosyasıdır:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031 
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

kontrol ettim ve 8031 ​​portu açık.

DÜZENLEME: Gelecekte bu inceleyen insanlar için

, ben gibi görünmek benim iplik site.xml dosyasını düzenlemek için gerekli aşağıdaki:

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>master-1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>master-1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>master-1:8088</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>master-1:8031</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>master-1:8033</value> 
</property> 

Answer 1

belirtmek gerekir

hostname: port

Evet, hepsi veresiye ayarlanmış olması gerekir es, sadece ResourceManager düğümü değil (aynı hadoop'un direktifini tüm düğümlerinize kopyalamanız yeterlidir). Bazı asgari çalışma yapılandırmaları Başlamak gerekirse, burada bir göz atın: toster.ru/q/57046#answer_208326

Answer 2

rsync veya scp komut köle düğümlerine ana düğümden yapılandırma dosyaları kopyalamak için kullanılabilir:

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/ 
done 

Not, burada tüm düğümlerin aynı dolandırıcı dizin düzenine sahip olduğunu varsayalım.

Answer 3

Çok benzer bir sorunla karşılaştım ve yalnızca ResourceManager anasistem adı belirterek çözüldü, hizmet başına kesin adresi hecelemeye gerek yok.

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>master-1</value> 
</property> 

Answer 4

Ayrıca, aynı sorun vardı ama benim durumumda, kaynak yöneticisinde yalnızca bir düğüm yönetildi. Ben iplik-site.xml içinde mülkiyet altına yerleştirdi ve ben RM listelenen düğümleri görebiliyordu.

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value><master-1></value> 
</property> 

Answer 5

1. onay İPLİK HA etkin veya değil? Bu iplik site.xml dosyasını yarn.resourcemanager.ha.rm-kimlikleri bahsedilen her bir kaynak yöneticisi daha sonra etkindir durumda
2. (örneğin H1, rm2) ResourceManager hizmeti çalıştırmak.

Answer 6

Kaynak yöneticisine bağlanmayan nodemanager olmasına rağmen, çok benzer belirtilerle ilgili bir sorun yaşadım. Sorun, iplik-site.xml'de "yarn.nodemanager.hostname" adında bir özellik (ya da olabilir) idi. Bu ayar yanlışlıkla HDFS "adenode" nin ana bilgisayar adıyla doldurulmuştu, ancak bu, "nodemanager" başına YARN'nin ana bilgisayar adını içermesi gerekiyordu. Diğer özellikler için girilene bağlı olarak, "Yeniden bağlanmayı bağla", "Bağlantı reddedildi" veya kaynak ayırma hataları gibi çeşitli hatalara neden oluyordu. Bunu "0.0.0.0" (varsayılan) olarak ayarlamak sorunu çözdü.