ELK v3 logstash收集日志以收集系统日志messages为例

菜鸟运维笔记 2019-07-04

1200

安装logstash

1、安装jdk

2、安装logstash

a、下载

b、安装

c、配置

问题

安装logstash

logstash安装到192.168.200.129上

1、安装jdk

过程略之前的文章都有介绍

2、安装logstash

a、下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.2.rpm

b、安装

rpm -ivh logstash-6.5.2.rpm

c、配置

chown -R logstash:logstash /var/log/logstash
chown -R logstash:logstash /var/lib/logstash

这个权限得配置一下，不然启动会报错

编辑配置文件(以收集系统日志/var/log/messages为例)

cd /etc/logstash/conf.d
vim syslog.conf
input {
    syslog {
        type => "system-syslog"
        port => 10514
    }
}
output {
    stdout {
        codec => rubydebug
    }
    #elasticsearch {
    #    hosts => ["192.168.200.128:9200"]
    #    index => "system-syslog-%{+YYYY.MM}"
    } 
}

这个先做测试，先让他输出到控制台，看看有没有日志，没问题了，在放到elasticsearch

然后还得测试一下，这个配置文件有没有什么问题

/usr/share/logstash/bin/logstash  --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit

这个会有一个输出结果，只要是OK就行了

需改下系统日志的配置文件在RULES 下添加这一行

vim /etc/rsyslog.conf
#### RULES ####
*.* @@192.168.200.129:10514

重启下日志服务

systemctl restart rsyslog

然后启动，这个是前台启动的有日志输出就OK了按Ctrl +c 就可以退出了

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf

我们把这个停下来退出，修改配置文件，把日志交给elasticsearch

cd /etc/logstash/conf.d
vim syslog.conf
input {
    syslog {
        type => "system-syslog"
        port => 10514
    }
}
output {
    #stdout {
    #    codec => rubydebug
    #}
    elasticsearch {
        hosts => ["192.168.200.128:9200"]
        index => "system-syslog-%{+YYYY.MM}"
    }
}

修改完成了，再测试下配置文件，有没有问题

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit

没问题了，我们就可以让logstash以服务启动

systemctl restart logstash
systemctl enable logstash

这个时间有点长，得等下，可以观察一下日志看看有没有报错，还有就是看看端口9600和10514起来没有

tail -f  /var/log/logstash/logstash-plain.log

下一步，需要在elasticsearch观察，是否建立了索引。这个也得等下，在192.168.200.128上

curl http://192.168.200.128:9200/_cat/indices?v
 health status index                 uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   system-syslog-2018.12 EnGFb-Z4QrCYUIHyW9Y_lg   5   1         60            0    188.9kb        188.9kb
green  open   .kibana_1             pgmBv6e9QOioioNWlJZvgQ   1   0          3            0     16.3kb         16.3kb

ok了索引建立了，然后就可以用kibana去图形化展示

用浏览器打开192.168.200.130:5601

行了整体完成了

问题

如果收集的日志信息只有当时的日志信息的话，要单独启动logstash配置文件并在后台运行

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf  &

还有要注意的就是配置文件只能单独起一个如果想监控多个日志文件的话可修改增加配置文件

- MORE | 往期精彩文章 -

ELK v1 elasticsearch安装

ELK v2 kibana的安装

数据库

文章转载自菜鸟运维笔记，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

ELK v3 logstash收集日志以收集系统日志messages为例

评论