25 2020
ELKELKF日志学习(九)Logstash基础介绍
前言Logstash 是数据收集引擎，可以对数据进行过滤、分析、丰富、统一格式等操作，存储到用户指定的位置，包含但不限于文件、 elasticsearch 。 代码仓库talk-lucky/elkf-study 配置Logstash 的配置...
24 2020
ELKELKF日志学习(八)Filebeat写入Elasticsearch
前言上节将日志存储为 json 格式了，并通过 FileBeat 解析了 json 格式。 那我们可以直接将 json 日志写入 Elasticsearch 中了。 代码仓库talk-lucky/elkf-study 写入 Elastics...
23 2020
ELKELKF日志学习(七)Filebeat解析json
这是 EKF 的部分，抛去了 Logstash。 前言有些时候，我们已经将日志存储成了 json 的格式，而且不需要经过 Logstash 了，我们可以直接将日志写入 Elasticsearch 中。 代码仓库talk-lucky/el...
22 2020
ELKELKF日志学习(六)FileBeat过滤日志
前言在分析日志的时候，是否有遇到过一些无用的日志？ 这种情况最好是处理好记录日志的情况，如果无法处理，我们只能过滤了。 代码仓库talk-lucky/elkf-study include_lines指定记录包含某些内容的行，比如： file...
21 2020
ELKELKF日志学习(五)FileBeat解析多行日志
前言在我们的日常工作中，日志并不像 nginx/access.log 那样整齐，每一行都代表一条日志记录。 通常业务日志、错误日志经常出现跨行的情况，最常见的就是栈。 [2020-11-26 05:43:31] local.ERROR: E...
20 2020
ELKELKF日志学习(四)FileBeat基础配置
前言在 《ELKF日志学习(一)前言》 中介绍过 FileBeat，是一个轻量级的开源日志文件数据搜集器，负责对服务的日志进行收集。 因为 logstash 是 jvm 跑的，资源消耗比较大，所以后来作者又用 golang 写了一个功能较...
19 2020
ELKELKF日志学习(三)EKF平台搭建 Docker单机
本文和 《ELKF日志学习(二)ELKF平台搭建 Docker单机》 的区别如下： 去除了 Logstash 模块。 Filebeat 直接写入 Elasticsearch。 熟悉者可以直接进入相应目录安装环境。 前言本文是基于 h...
18 2020
ELKELKF日志学习(二)ELKF平台搭建 Docker单机
前言本文是基于 hub.docker.com 站点提供的 Docker 容器进行搭建的，且是 单机 ，仅用于学习。 代码仓库talk-lucky/elkf-study ELKF目录 说明为了能够达到更好的学习效果，这里将 Elasticse...
17 2020
ELKELKF日志学习(一)前言
背景随着业务的不断发展，公司也越来越注重产品的质量和其稳定性，主张快速发现问题，快速解决问题。 日志分析也就进入了我们必做的环节之一。 由于公司目前都是自建的服务，现有的服务是 EKF 的形式，也就基于这个学习了一番。 在经过一番了解后，对...
03 2020
JavascriptJS数组合并
前言项目过程中，经常会遇到 JS 数组合并的情况，时常为这个纠结。这里整理一下。 简单而实用的for最容易想到的莫过于 for 了。 会变更原数组，当然也可以写成生成新数组的形式。 let arr = [1, 2]let arr2 = [3...