. Hdfs dizindeki klasörleri silme işlemi silinmiyor

Question

Bazı kıvılcım işleri yapıyoruz ve işimizi tamamladıktan sonra hdfs'da yönetmenlik yapıyoruz. İş tamamlandıktan sonra hazırlama dizini silmek için ayarlamamız gereken herhangi bir parametre var mı?

spark.yarn.preserve.staging.files varsayılan olarak yanlıştır ve bu nedenle açıkça ayarlamamıştır. biz hortonworks ve kıvılcım sürümünü kullanarak iplik üzerinde kıvılcım çalıştıran 1.2

Selamlar, Ahmet

Answer 1

neler içine daha ayrıntılı bilgi edinmek için iş tamamlama konsol çıkışı aşağıdaki günlük olaylar için kontrol edin:

1. ApplicationMaster: Deleting staging directory .sparkStaging/application_xxxxxx_xxxx - Bu uygulamanın başarıyla evreleme dizini
2. ApplicationMaster: Staging directory is null temizlemek mümkün olduğu anlamına gelir - bu uygulama th için evreleme dir bulmak mümkün değildi anlamına gelir Uygulama
3. ApplicationMaster: Failed to cleanup staging dir .sparkStaging/application_xxxxxx_xxxx - bu şey yanlış da Bahsettiğiniz senaryo etkileyebilir kümede bu özellikleri tekrar kontrol Could evreleme dizini

silme gitti şu anlama gelir: spark.yarn.preserve.staging.files ve bu SPARK_YARN_STAGING_DIR.