ELK实时日志分析平台1——搭建

安装环境：
system: Centos 7.4
ElasticSearch: 7.13.2
Logstash: 7.13.2
Kibana: 7.13.2
Java: openjdk version  11.0.2

1.安装jdk-11.0.1【版本要求】
下载包到/src
解压
cd /src
tar -zxvf jdk11.0.1...gz
创建java安装路径
mkdir /usr/java
cp -rf src/jdk-11.0.1/ usr/java/
修改环境变量
vim /etc/profile
source /etc/profile
{
xport JAVA_HOME=/usr/java/jdk-11.0.1
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
}
java -version




2.linux新建组es,用户es----------[root运行报错]
groupadd es
useradd es
修改es用户密码
passwd es
下载安装包到/src
解压
tar -zxvf el.....gz
将es解压的文件移动到es用户目录中
tar -zxvf elasticsearch-7.13.2 home/es/
改变文件的所有者
chown -R es:es home/es/elasticsearch-7.13.2
es用户下启动：[使用不方便-所以后期需要添加为系统服务]
./home/es/elaticsearch-7.13.2/bin/elaticsearch
3.访问【第一次运行使用默认的配置文件，后期根据需要修改elasticsearch.yml 】
3.1虚拟终端：curl http://localhost:9200
3.2开启ES远程访问ip:9200
【修改配置文件】
（1.vim elasticsearch.yml 将原来network修改为以下配置:
node.name: node-1
network.host: 0.0.0.0
cluster.initial_master_nodes: ["node-1"]
（2.vi /etc/sysctl.conf 
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
{看报错日志更改配置}
4.添加es为系统服务system

一、elaticsearch-head【ip:9100】
1.linux 安装git
yum install git -y
2.linux 安装npm
curl -sL https://rpm.nodesource.com/setup_14.x | bash -
yum -y install nodejs
3.安装
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start


二、cerebro 【ip:9000】
1.下载到cerebro-0.9.2.gz包到/src
wget https://github.com/lmenezes/cerebro/releases/download/v0.9.2/cerebro-0.9.2.tgz
2.解压
tar -zxvf cerebro-0.9.2.tgz
3.修改配置文件
vim cerebro-0.9.2/conf/application.conf
......
hosts = [
  {
    host = "es_ip:9200"
    name = "es_name"
  #  headers-whitelist = [ "x-proxy-user", "x-proxy-roles", "X-Forwarded-For" ]
  }
......


4.启动
./src/cerebro-0.9.2/bin/cerebro

1.下载安装包ELK官网
2.上传到服务器/src
3.解压
cd src
tar -zxvf logstash-7.13.2.gz
4.编写配置文件（）
vim logstash-7.13.2/config/test.conf
5注册为system服务【使用配置文件/src/logstash-7.13.2/config/startup.options 】
.logstash-7.13.2/bin/system-install --help
6.修改配置文件
vim src/logstash-7.13.2/config/startup.options
logstash的路径
使用的用户 root
7.启动
方式1
./bin/logstash -f logstash1.conf自定义配置文件
方式2.
systemctl start|stop|status logstash


{采集筛选数据---->es}

1.下载安装包到/src
3.解压
cd src
tar -zxvf kibana.gz
4.更改启动配置文件kibana.yml
更改kibana和es的ip地址
5.启动（使用不方便，所以后期需要添加为系统服务）
./bin/kibana  --allow -root
允许root用户运行


6.添加kibana为服务
vim lib/systemd/system/kibana.service
[Unit]
Description=Git Auto Update Hook Service
After=network.target
[Service]
Type=simple
ExecStart=/src/kibana-7.13.2-linux-x86_64/bin/kibana --allow-root -c src/kibana-7.13.2-linux-x86_64/config/kibana.yml
Restart=always
[Install]
WantedBy=multi-user.target


systemctl strat kibana
____________________________________________________________________
{es---->kibana}


7.设置中文语言
中文包在 usr/share/kibana/node_modules/x-pack/plugins/translations/translations/zh-CN.jso
只需要在配置文件 kibana.yml 中加入
i18n.locale: "zh-CN"

#ELK-es.service服务
[Unit]
Description=ElasticSearch
Requires=network.service
After=network.service


[Service]
User=es
Group=es
LimitNOFILE=65536
LimitMEMLOCK=infinity
Environment=JAVA_HOME=/usr/java/jdk-11.0.1
ExecStart=/home/es/elasticsearch-7.13.2/bin/elasticsearch
ExecReload=/bin/kill -HUP $MAINPID
KillMode=mixed
SuccessExitStatus=143
Restart=on-failure
RestartSec=42s


[Install]
WantedBy=multi-user.target

#ELK-kibana.service服务
[Unit]
Description=Git Auto Update Hook Service
After=network.target
[Service]
Type=simple
ExecStart=/src/kibana-7.13.2-linux-x86_64/bin/kibana --allow-root -c /src/kibana-7.13.2-linux-x86_64/config/kibana.yml
Restart=always
[Install]
WantedBy=multi-user.target

#ELK-logstash.service服务
[Unit]
Description=Logstash
Requires=network.service
After=network.service


[Service]
LimitNOFILE=65536
LimitMEMLOCK=infinity
ExecStart=/src/logstash-7.13.2/bin/logstash -f /src/logstash-7.13.2/config/test.conf
ExecReload=/bin/kill -HUP $MAINPID
KillMode=mixed
SuccessExitStatus=143
Restart=on-failure
RestartSec=42s


[Install]
WantedBy=multi-user.target