日志采集上报分析处理平台的设计与实现

Sumslack团队 2020-12-24

554

总体架构图

业务范围

•日志查询•链路跟踪•业务系统功能埋点•轨迹跟踪•量化统计（可扩展的根据日志提取信息到kafka）

实施步骤

•业务系统filebeat配置

#============== Filebeat inputs ===========
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/xx/yyy/logs/jeecg/*.log
  tags: ["xxx"]
  tail_files: true
.....
#------------ Logstash output ------------
max_procs: 1
output:
  logstash:
      hosts: ["x.x.x.x:5044"]
      compression: gzip
      max_message_bytes: 2000000

•LogStash配置

if[message] =~ /.*KF:TRACK.*/ {
kafka{
  bootstrap_servers => "x.x.x.x:9092"
  codec => json
  compression_type => "gzip"
  topic_id => "track"}
}

•【可选】如果日志中要整合链路跟踪

在pom.xml
加入依赖：

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.1.0</version>
</dependency>

并定义日志格式定义通过：[%tid]
输出traceid
，根据这个traceid
在skyworking
里查询链路跟踪情况。