/var/log/hadoop-hdfs altındaki hadoop-hdfs günlüklerini nasıl temizlerim

Kök boğum kümesindeki ad düğümü kötü bir sağlığa döndü çünkü "Rolün günlük dizini, 4 GB'tan daha az alana sahip bir dosya sistemi değil/var/log/hadoop-hdfs (ücretsiz: 2,4 GB (% 11,12), kapasite: 21,7 GB "/var/log/hadoop-hdfs altındaki hadoop-hdfs günlüklerini nasıl temizlerim

" Bu klasöre baktım ve "hdfs-audit.log adında 5,5 GB günlük dosyam olduğunu gördüm. .0 "-" hdfs-audit.log.20 "Bu dosyaları okudum ve gerçekten bu günlükleri kaydetmem gerekmiyor.Ayrıca onları kalıcı olarak silmenin ve onları bir daha üretmemenin bir yolu var mı? Onları elle silmeye çalıştım ama birkaç saat sonra geri döndükleri anlaşılıyor.)

Ayrıca "log4j.logger.org.ap dosyasını eklemeye çalıştım. acet.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN, NullAppender "/etc/hadoop/conf/log4j.properties sayfamda. Ancak bu dosyaların "geri gelmesini" engellemedi.

Yardımlarınız için şimdiden teşekkür ederiz!

kaynak

2013-08-12 Heidi Qiao

Ne sürümü ile değişken navigator.audit_log_max_backup_index (genellikle 10)

veya maks günlük dosyası boyutu ile korunur günlük dosyalarının sayısını azaltmak koşuyor musun? Log4j.properties dosyasında değişiklik yaptıktan sonra adenode yeniden başlattınız mı? –

@ChrisWhite Şimdi yeniden başlattım ve 5.5G denetim günlük dosyaları hala/var/log/hadoop-hdfs altında. Elle tekrar silmem ve sonra yeniden başlayayım mı? –

Ve sürüm Hadoop 2.0.0-cdh4.3.0. Teşekkür ederim! –

Her şeyden önce, Hadoop bahsettiğinizden çok daha büyük kapasite için tasarlanmıştır, yani 5.5GB günlükleri o kadar fazla değildir. Bu, varsayılan ayarların sizin durumunuza neden uygun olmadığını açıklar.

Şunları yapabilirsiniz:

Hadoop ait navigator.audit_log_max_file_size

kaynak

2015-02-21 22:24:59 Pixou

Teşekkürler! Sorunu yayınladığımdan beri bir süre geçti, ama sanırım sorunu çözmek için log_max_file_size'yi değiştirdik. Evet, küçük bir kümede bir şeyler deniyorduk, böylece makineler büyük kapasitelere sahip değildi. –

Bu değişkenleri nerede ayarlıyorum? Bu değişikliklerin yansıtılması için datanode'yu yeniden başlatmam gerekiyor mu? – amey91

/var/log/hadoop-hdfs altındaki hadoop-hdfs günlüklerini nasıl temizlerim

cevap

İlgili konular