暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Kafka监控那些事儿

ZUTNLP 2020-04-13
355
生产环境的Kafka监控,也面临着诸多挑战,如:Producer Rate、Consumer Rate、Lag等指标;如果达到阈值,就需要尽快告警来进行处理。这主要介绍4款比较实用工具。
  • CMAKE

    CMAKE全称是Cluster Manager for Apache Kafka。最早由Yahoo开源,也就是我们所说的Kafka Manager。该工具比较成熟,大家可以放心使用。Repo:https://github.com/yahoo/CMAK
  • Kafka Eagle

    Kafka Eagle是一款完全开源的Kafka监控工具。具有以下特点:

    • 兼容性

      不同版本的Kafka设计是不一样的,Kafka Eagle 实现新老版本的兼容。

    • More Efficiency

      更加方便管理和监控Topic,不是也十分简单。

    • 丰富的Dashboard

      Kafka Eagle可以呈现多个图形,包括集群和Topic仪表板。

    Repo: https://github.com/smartloli/kafka-eagle

  • Kafka Zk RestApi

    这是一个基于SpringBoot的Web应用程序,将Kafka常见操作封装为RestApi。部分功能如下:

    在此基础之上,可以做到各种定制化的开发,实现业务监控目标。比如要监测多个Topic的Consumer Group消费的时序图,就可以采用5 minutes为单位进行周期性调度,得到如下的展示:
     
    但是遗憾的是目前只支持0.11x和0.10两个版本。由于Kafka 2.x底层代码做了大量优化,无法直接使用,需要其基础上做升级改动。Repo:https://github.com/gnuhpc/Kafka-zk-restapi


  • KafkaCenter

    KafkaCenter是Kafka 集群管理和维护,生产/消费监控,生态组件使用的统一一站式平台。

    功能架构图

    Repo:https://github.com/xaecbd/KafkaCenter

当然如果想做Kafka Cluster层面的监测,通过使用Kafka Exporter 和 Granfana 也是不错的选择。
文章转载自ZUTNLP,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论