Mesaj alanını Logstash'dan silebilir miyim?

Question

Temel bir Logstash -> Elasticsearch kurulumum var ve logstash filtresi işini bitirdikten sonra 'message' alanı gerekli değil - bu raw mesaj alanını elasticsearch'e saklamak sadece imo'ya gereksiz verileri ekliyor.

Bu alanı güvenle silebilir miyim ve ES için herhangi bir sorun çıkarır mı? tavsiyeleri ya da okumalar herkese açıktır, teşekkürler.

Answer 1

Hayır, ES için herhangi bir sorun oluşturmayacaktır. Gereksiz veya kullanılmamışsa message alanını silebilirsiniz.

Filtrelerin sonuna bu filter ekleyebilirsiniz.

mutate 
{ 
    remove_field => [ "message" ] 
} 

Answer 2

Ayrıca bunu json filtresinde de yapabilirsiniz.

filter { 
    json { 
    source => "message" 
    remove_field => ["message"] 
    } 
} 

Answer 3

Ben'in Lim tarafından cevaba yorum olarak aşağıdaki ilave olurdu, ama ben bir yorum bir kod bloğu nasıl ekleneceğini bilmiyorum ya da bu mümkün olsa olmadığı ...

message alanı oluşturmayan bir girdi ve kodek bileşimini birlikte kullanabiliyorsanız, bunu kaldırmanıza gerek yoktur. Ayrıca remove_field seçeneğe izin (örneğin grok gibi) Çoğu filtreleri ve yapacaktır:

input { 
    tcp { 
    port => 5044 
    codec => json_lines 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["localhost"] 
    document_type => "mytype" 
    index => "myindex" 
    } 
}