Kafka云管平台来了.pdf

navyaijm

446

1页

11次

2021-01-17

免费下载

前⾔

我记得是⼀个⽉以前在炜哥的朋友圈看到了他们团队把沉淀多年的kafka管理平台开源了，当时只是收藏了，这周刚好由于疫情不敢回家，

周末花点时间体验⼀把，因为kafka管理这块我们这边⽬前还是⼿⼯运维，之前也调研测试过其他开源的平台,⽐如kafka-eagle、

kafkamanager、kafka-oﬀset-monitor等等，要不就是功能⽐较简单，不要就是问题⽐较多，今天带⼤家体验⼀把滴滴开源的kafka云管

平台

体验

GitHub上有公⽹的体验地址：http://117.51.146.109:8080 账号密码 admin/admin，想进⼀步体验，我们⾃⼰部署，下⾯是官⽅的部署⽂

档

https://github.com/didi/Logi-KafkaManager/blob/master/docs/install_guide/install_guide_cn.md ，如果你没有编

译环境，⽤我下⾯的⽅法更简单

部署

1. 下载GitHub上最新的relesase包并解压

wget https://github.com/didi/Logi-KafkaManager/releases/download/v2.1.0/kafka-manager-2.1.0.tar.gz

tar -zxvf kafka-manager-2.1.0.tar.gz

2. 准备数据库

准备⼀个版本⼤于等于5.7的数据库，并创建好账号，数据库主要是⽤于存储源数据还要监控信息的，这⾥就不展开了

3. 导⼊数据

把第⼀步解压出来的SQL⽂件导⼊到第⼆步准备好的数据库⾥⾯

mysql -uXXXX -pXXX -h XXX.XXX.XXX.XXX -PXXXX < ./create_mysql_table.sql

4.修改配置⽂件

主要是修改数据库的配置,其他先可以保持不变

datasource:

kafka-manager:

jdbc-url: jdbc:mysql://1.1.1.1:3306/db_kafka?characterEncoding=UTF-8&serverTimezone=GMT%2B8

username: db_kafka_rw

password: xxxxxx

5. 启动服务

nohup java -jar kafka-manager-web-2.1.0-SNAPSHOT.jar --spring.config.location=./application.yml >

/dev/null 2>&1 &

⾄此，服务已经本地部署完成，可以通过访问该服务器的8080端⼝访问服务，默认账号密码是admin/admin

接⼊集群

集群的接⼊总共需要三个步骤，分别是：

接⼊物理集群

创建Region

创建逻辑集群

接⼊集群需要2、3两步是因为普通⽤户的视⻆下，看到的都是逻辑集群，如果没有2、3两步，那么普通⽤户看不到任何信息。

接⼊物理集群

zookeeper地址写kafka集群的zk地址，多个地址⽤逗号分隔，bootstrapServers写kafka集群的broker地址，建议写多个，⽤逗号分隔。

创建Region

1. 创建Region的⼊⼝：运维管控---》选择⼀个物理集群点进去---》Region信息---》新增Region

2. Region就是把⼀组broker划分成⼀个逻辑单元，⽐如⼀个集群有10台broker，我们可以⽤Region划分成多组broker，下⾯逻辑集群就

是建⽴在Region之上的

创建逻辑集群

1. 创建逻辑集群的⼊⼝：运维管控---》选择⼀个物理集群点进去---》逻辑集群信息---》新增逻辑集群

2. 逻辑集群是对⽤户暴露的，⽤户申请的Topic创建在逻辑集群上

服务接⼊

平台已经部署完成并且已经把线上跑的kafka集群接⼊到了平台，那么如何给⽤户使⽤呢，⼤概流程是这样的：

1. 在平台上新建账号

给即将使⽤平台的⽤户开账号，⼊⼝在：运维管控--》平台管理--》⽤户管理--》添加⽤户

这块其实和企业内部统⼀的账号体现打通⽐较好，也和官⽅聊过⽬前开源的这个版本需要⾃⼰稍微修改代码做集成

2. 创建应⽤

Topic是绑定在应⽤之上的，所以在申请Topic之前需要有应⽤，但是⽬前没有看到单独申请应⽤的⼊⼝，在申请Topic的⻚⾯有⼀个

跳转申请应⽤的快捷⼊⼝

3. 申请Topic

申请Topic的⼊⼝：Topic管理--》我的Topic--》申请Topic

4. 管理员审批

上⾯流程是对于⼀个全新的业务接⼊流程，那么已经在线上运⾏的Topic如何接⼊呢，这块也和官⽅沟通了，⽬前正在开发，最近⼏

天就会上线，我们只需要把账号、应⽤、虚机集群先创建好，然后和已经在线上的Topic做关联即可

功能预览

1. 集群概览

2. Topic信息

3. Broker信息

4. Topic详情

问题和总结

Logi-KafkaManager虽然开源没多久，但是完成度已经相当⾼了，⽬前我们⽤到的功能基本都有了，并且在体验过程中基本没有遇到过啥

bug,有两个地⽅需要注意下，不然平台采集不到集群的数据：

1、需要保证所有Broker的主机名和IP在/etc/hosts⾥⾯有绑定关系,也就是说需要把hostname获取的到的主机名和内⽹IP的关系

在/etc/hosts写上

2、需要所有Brker开启JMX端⼝，关于kafka-run-class.sh⾥⾯JMX的配置参考这个：

# JMX settings

if [ -z "$KAFKA_JMX_OPTS" ]; then

KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false

-Dcom.sun.management.jmxremote.ssl=false "

# JMX port to use

if [ $JMX_PORT ]; then

KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -

Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

前⾔

我记得是⼀个⽉以前在炜哥的朋友圈看到了他们团队把沉淀多年的kafka管理平台开源了，当时只是收藏了，这周刚好由于疫情不敢回家，

周末花点时间体验⼀把，因为kafka管理这块我们这边⽬前还是⼿⼯运维，之前也调研测试过其他开源的平台,⽐如kafka-eagle、

kafkamanager、kafka-oﬀset-monitor等等，要不就是功能⽐较简单，不要就是问题⽐较多，今天带⼤家体验⼀把滴滴开源的kafka云管

平台

体验

GitHub上有公⽹的体验地址：http://117.51.146.109:8080 账号密码 admin/admin，想进⼀步体验，我们⾃⼰部署，下⾯是官⽅的部署⽂

档

https://github.com/didi/Logi-KafkaManager/blob/master/docs/install_guide/install_guide_cn.md ，如果你没有编

译环境，⽤我下⾯的⽅法更简单

部署

1. 下载GitHub上最新的relesase包并解压

wget https://github.com/didi/Logi-KafkaManager/releases/download/v2.1.0/kafka-manager-2.1.0.tar.gz

tar -zxvf kafka-manager-2.1.0.tar.gz

2. 准备数据库

准备⼀个版本⼤于等于5.7的数据库，并创建好账号，数据库主要是⽤于存储源数据还要监控信息的，这⾥就不展开了

3. 导⼊数据

把第⼀步解压出来的SQL⽂件导⼊到第⼆步准备好的数据库⾥⾯

mysql -uXXXX -pXXX -h XXX.XXX.XXX.XXX -PXXXX < ./create_mysql_table.sql

4.修改配置⽂件

主要是修改数据库的配置,其他先可以保持不变

datasource:

kafka-manager:

jdbc-url: jdbc:mysql://1.1.1.1:3306/db_kafka?characterEncoding=UTF-8&serverTimezone=GMT%2B8

username: db_kafka_rw

password: xxxxxx

5. 启动服务

nohup java -jar kafka-manager-web-2.1.0-SNAPSHOT.jar --spring.config.location=./application.yml >

/dev/null 2>&1 &

⾄此，服务已经本地部署完成，可以通过访问该服务器的8080端⼝访问服务，默认账号密码是admin/admin

接⼊集群

集群的接⼊总共需要三个步骤，分别是：

接⼊物理集群

创建Region

创建逻辑集群

接⼊集群需要2、3两步是因为普通⽤户的视⻆下，看到的都是逻辑集群，如果没有2、3两步，那么普通⽤户看不到任何信息。

接⼊物理集群

zookeeper地址写kafka集群的zk地址，多个地址⽤逗号分隔，bootstrapServers写kafka集群的broker地址，建议写多个，⽤逗号分隔。

创建Region

1. 创建Region的⼊⼝：运维管控---》选择⼀个物理集群点进去---》Region信息---》新增Region

2. Region就是把⼀组broker划分成⼀个逻辑单元，⽐如⼀个集群有10台broker，我们可以⽤Region划分成多组broker，下⾯逻辑集群就

是建⽴在Region之上的

创建逻辑集群

1. 创建逻辑集群的⼊⼝：运维管控---》选择⼀个物理集群点进去---》逻辑集群信息---》新增逻辑集群

2. 逻辑集群是对⽤户暴露的，⽤户申请的Topic创建在逻辑集群上

服务接⼊

平台已经部署完成并且已经把线上跑的kafka集群接⼊到了平台，那么如何给⽤户使⽤呢，⼤概流程是这样的：

1. 在平台上新建账号

给即将使⽤平台的⽤户开账号，⼊⼝在：运维管控--》平台管理--》⽤户管理--》添加⽤户

这块其实和企业内部统⼀的账号体现打通⽐较好，也和官⽅聊过⽬前开源的这个版本需要⾃⼰稍微修改代码做集成

2. 创建应⽤

Topic是绑定在应⽤之上的，所以在申请Topic之前需要有应⽤，但是⽬前没有看到单独申请应⽤的⼊⼝，在申请Topic的⻚⾯有⼀个

跳转申请应⽤的快捷⼊⼝

3. 申请Topic

申请Topic的⼊⼝：Topic管理--》我的Topic--》申请Topic

4. 管理员审批

上⾯流程是对于⼀个全新的业务接⼊流程，那么已经在线上运⾏的Topic如何接⼊呢，这块也和官⽅沟通了，⽬前正在开发，最近⼏

天就会上线，我们只需要把账号、应⽤、虚机集群先创建好，然后和已经在线上的Topic做关联即可

功能预览

1. 集群概览

2. Topic信息

3. Broker信息

4. Topic详情

问题和总结

Logi-KafkaManager虽然开源没多久，但是完成度已经相当⾼了，⽬前我们⽤到的功能基本都有了，并且在体验过程中基本没有遇到过啥

bug,有两个地⽅需要注意下，不然平台采集不到集群的数据：

1、需要保证所有Broker的主机名和IP在/etc/hosts⾥⾯有绑定关系,也就是说需要把hostname获取的到的主机名和内⽹IP的关系

在/etc/hosts写上

2、需要所有Brker开启JMX端⼝，关于kafka-run-class.sh⾥⾯JMX的配置参考这个：

# JMX settings

if [ -z "$KAFKA_JMX_OPTS" ]; then

KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false

-Dcom.sun.management.jmxremote.ssl=false "

# JMX port to use

if [ $JMX_PORT ]; then

KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -

Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

of 1

免费下载

kafka

关注

评论