Spark için günlük seviyelerini ayarlamak için dataproc'un en zarif ve sağlam yolu nedir?

Question

Önceki yanıtlarda açıklandığı gibi, bir Spark kümesinin ayrıntılarını değiştirmenin en ideal yolu corresponding log4j.properties değiştiriyor. dataproc Kıvılcım İplik üzerinde çalışan üzerinde Ancak, bu nedenle küresel yapılandırmayı ayarlamak zorunda ve/usr/lib/kıvılcım/conf

Çeşitli öneri değil: dataproc Açık

biz birkaç gcloud komutları ve özelliklere sahip biz geçebilir küme oluşturma sırasında.

--properties komut yapılandırma dosyaları değiştiremez: See documentation mümkün dokümanlardan gibi değil belki

--properties 'log4j:hadoop.root.logger=WARN,console' 

belirterek/etc/Hadoop/conf altında log4j.properties değiştirmek mi yukarıda gösterilmemiştir.

başka yolu da küme init sırasında bir kabuk kullanmak ve çalıştırmak olacaktır sed:

# change log level for each node to WARN 
sudo sed -i -- 's/log4j.rootCategory=INFO, console/log4j.rootCategory=WARN, console/g'\ 
        /etc/spark/conf/log4j.properties 
sudo sed -i -- 's/hadoop.root.logger=INFO,console/hadoop.root.logger=WARN,console/g'\ 
        /etc/hadoop/conf/log4j.properties 

Ama bu yeterli mi yoksa biz de env değişken hadoop.root.logger değiştirmek gerekiyor?

Answer 1

Şu anda, --properties ek log4j ayarlarını desteklemiyorsa haklısınız, ancak kesinlikle eklememiz hakkında konuştuğumuz bir şey var; Bazı değerlendirmeler arasında, Spark vs Yarn üzerinde ince ayarlı kontrole sahip olma yeteneğinin ne kadarının dengeleneceği, diğer uzun süredir devam eden sistemlerin günlüğe kaydetme yapılandırmaları (hiveserver2, HDFS daemon'ları vb. ortak bir şekilde.

En azından Spark sürücü günlükleri, sen /etc/*/conf ayarlardan herhangi önceliklidir gereken bir iş gönderme zamanı ayarı --driver-log-levels kullanabilirsiniz, ancak aksi takdirde açıklamak gibi init eylemler düzenlemek için makul bir yoludur Artık küme başlangıcında dosyalar, zaman içinde değişebileceğini ve serbest bırakılacağını unutmayın.