Spark işinin metrikleri nasıl alınır?

Question

, yaklaşık 20 düğüm içeren bir kümeye sahibiz. Bu küme, birçok kullanıcı ve iş arasında paylaşılmaktadır. Bu nedenle, işimi gözlemlemek benim için çok zor. Böylece CPU kullanımı, G/Ç, Ağ, Bellek vb. Bazı ölçümler alabilirim.

İş seviyesinde nasıl bir ölçüm alabilirim?

Not: Küme zaten Ganglia'yı yüklemiş, ancak iş düzeyinde çalışmayı nasıl başarabileceğimi bilmiyorum. Benim yapmak istediğim, yalnızca işimi yürütmek için kümenin kullandığı kaynağı izliyor.

Answer 1

yapabilirsiniz olsun hakkında bilgi görüntüler Kıvılcım Geçmişi Server içerisinden kıvılcım iş ölçümlerini:
- zamanlayıcı aşamaları ve görevlerin bir listesi
- RDD boyutları ve bellek kullanımı bir özeti
- Bir Çevre bilgisi
- çalıştıran uygulayıcıları

1 Set hakkında bir bilgi kıvılcım uygulamasını başlatmadan önce true spark.eventLog.enabled. Bu, Spark olaylarını kalıcı depolamaya kaydetmek için Spark'ı yapılandırır.
2, Set spark.history.fs.logDirectory, bu tarih sunucusu tarafından yüklenecek uygulama olay günlüklerini içeren dizindir;
3, yürüterek tarih sunucusunu başlatın: ./sbin/start-history-server.sh

fazla bilgi için aşağıdaki linke bakınız: doğru anlamak eğer
http://spark.apache.org/docs/latest/monitoring.html