ELKF日志学习(七)Filebeat解析json
这是
EKF的部分,抛去了Logstash。
前言
有些时候,我们已经将日志存储成了 json 的格式,而且不需要经过 Logstash 了,我们可以直接将日志写入 Elasticsearch 中。
代码仓库
识别 json
FileBeat 可以解析 json 格式的日志,并将其传递给 Elasticsearch。 比如:
filebeat.inputs:
- type: log
enabled: true
fields:
source: nginx_access_log
json.keys_under_root: true
json.overwrite_keys: true
paths:
- /var/log/nginx/access.logkeys_under_root
keys_under_root 默认值是 false。
我们查看日志时会是这样子的:

为了能够让 json 的键提升到第一级,我们设置 keys_under_root: true,就会变成这样:

overwrite_keys
字面意思,如果 json 中存在的字段和 FileBeat 默认添加的字段(type, source, offset 等)冲突了,那么 json 中的属性会覆盖原有的。
最后
官方提供了很多的能力,我们可以根据不同的业务场景来做不同的事情。
本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!