如何使Kibana中TimeStamp和日志时间一致

开篇

接上篇文章：运维神器 -- ELK ，介绍了何为ELK，如何部署生产级别的监控系统 -- ELK。本篇介绍在使用ELK中，如何使Kibana中TimeStamp和日志时间一致性问题。

案例

如图，我们在使用中会碰到，Kibana的时间「@timestamp」和业务系统中输出的时间不一致。这样带来的问题就是日志混乱、并且不能按照日志时间来排序。为什么？因为Kibana是按照「@timestamp」排序的，而@timestamp是按照logstash插入es数据的时间来排序，而且数据是按照批次来的，每一批次的时间可能都是大径相同，这样子的结果就是导致上诉描述的一系列问题。

解决方法

那如何解决上诉问题呢？请看下面👇👇👇

filter {
###替换@timestamp时间为日志真实时间######
    grok {
        match => {  "message" => "(?<timestamp>%{TIMESTAMP_ISO8601})"  }
    }
    date {
        match => [ "timestamp", "ISO8601" ]
    }
    mutate {
         remove_field => [ "timestamp" ]
    }
}

只需要在logstash中增加一个filter，提取日志中的时间，并替换@timestamp
，重启logstash就可以轻松解决。如果不需要timestamp field，可以remove。

提示

时间戳

ISO8601 - 应解析任何有效的ISO8601时间戳，如2011-04-19T03:44:01.103Z
UNIX - 将解析float或int值，表示自1346149001.132以及1326149001.132以来的秒数（以秒为单位）
UNIX_MS - 将分析int值表示unix时间（以毫秒为单位），如1366125117000
TAI64N - 将解析tai64n时间值

Date插件

Date常见的配置如下：

date {
    match => [ "time_field", "yyyyMMdd HH:mm:ss.SSS" ]
    # timezone => "UTC"
    target => "end_time"
}

上述配置的含义是，将time_field字段按照yyyyMMdd HH:mm:ss.SSS格式解析后存到target指定的字段end_time字段去。time_field必须是已经定义的字段，最常见的就是在grok里面解析出来的某个时间字段
。时间格式可查看Date插件的文档。如果没有指定target，默认就是@timestamp字段，这就是为什么我们可以使用该插件来修改@timestamp字段值的原因。

结语

OK，ELK拓展文章就先结束一篇。未完待续，欢迎各位看客老爷关注收藏·······

历史文章