暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Prometheus通过kafka_exporter监控kafka

IT那活儿 2025-07-30
114

点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享,不管IT什么活儿,干就完了!!!



安装kafka_exporter

kafka_exporter相比JMX,优势在于不需要消耗 JVM资源,指标收集时间从分钟级别降到秒级别,便于大规模集群的监控。
1.1 下载kafka_exporter
下载地址:https://github.com/danielqsj/kafka_exporter
下载最新版本即可。
wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz
tar -xvf kafka_exporter-1.2.0.linux-amd64.tar
cd kafka_exporter-1.2.0.linux-amd64/
1.2 启动
cd /usr/local/kafka_exporter-1.2.0.linux-amd64
nohup ./kafka_exporter --kafka.server=1XX.XX.XX.93:9092 &

启动成功后,可以访问 http://127.0.0.1:9308/metrics/ (IP和端口要改成相应环境的)。


Prometheus配置

2.1 配置
修改prometheus组件的prometheus.yml加入kafka监控:
vi /usr/local/prometheus-2.15.1/prometheus.yml
2.2 启动验证
先kill掉Prometheus进程,用以下命令重启它,然后查看采集详情:
注:State=UP,说明成功。


Grafana配置

3.1 导入仪表盘模板
通过浏览器访问:http://127.0.0.1:3000
添加数据源,选择prometheus,填入prometheus服务器IP端口,点击保存:
3.2 导入监控图表
输入7589,光标往下移,如下图如果不能在线下载,可以离线下载json文件导入):
以上仪表盘导入后再结合自身业务修改过的最终仪表盘:


其 它

注册系统服务开机自动启动:
## 准备配置文件:
cat <<EOF >/etc/systemd/system/kafka_exporter.service
[Unit]
Description=Elasticsearch stats exporter for Prometheus
Documentation=Prometheus exporter for various metrics about ElasticSearch, written in Go.
[Service]
ExecStart=/usr/local/kafka_exporter/kafka_exporter --kafka.server=192.168.50.16:9092
[Install]
WantedBy=multi-user.target
EOF

## 启动并设置为开机自动启动:
systemctldaemon-reload
systemctlenablekafka_exporter.service
systemctlstopkafka_exporter.service
systemctlstartkafka_exporter.service
systemctlstatuskafka_exporter.service


END


本文作者:黄 凭(上海新炬中北团队)

本文来源:“IT那活儿”公众号

文章转载自IT那活儿,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论