暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / ZooKeeper组件和Kafka组件实操手册

ZooKeeper组件和Kafka组件实操手册

IT那活儿 2025-08-27
250
点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！
一

前置环境准备

1.1 准备三台服务器，并配置好前置环境
1.2 三台服务器配置好时钟同步，并进行验证
时钟同步验证：
1.3 关闭防火墙，并关闭防火墙开机自启动
1.4 创建安装用户，并配置免密登录
安装用户配置免密：
二

安装JAVA

2.1 创建安装目录
2.2 卸载服务器系统自带的JAVA环境
2.3 上传JAVA安装包，并进行解压
2.4 修改JAVA配置环境，并查看JAVA版本
slave01和slave02两台服务器同上进行安装：
三

安装ZooKeeper

3.1 创建安装目录
3.2 上传ZooKeeper安装包，并进行解压
3.3 创建数据目录及日志目录
3.4 修改ZooKeeper配置环境
3.5 修改zoo.cfg配置文件
3.6 创建myid配置文件
3.7 配置slave01和slave02两台服务器
按照3.1到3.6步骤对slave01和slave02进行配置。
需要注意myid文件需要修改为：
  • master 对应1
  • slave01对应2
  • slave02对应3

3.8 修改目录权限及属主
3.9 启动ZooKeeper服务并查看状态
四

安装Kafka

4.1 创建安装目录
4.2 上传Kafka安装包，并进行解压
4.3 修改Kafka配置环境
4.4 修改server.properties配置文件
4.5 配置slave01和slave02两台服务器
按照4.1到4.4步骤对slave01和slave02进行配置。
需要注意在server.properties文件下找到broker.id分别修改为：
  • master  => broker.id=0
  • slave01 => broker.id=1
  • slave02 => broker.id=2
4.6 启动Kafka服务
4.7 验证Kafka服务
在master打开一个新终端，并创建一个名为hello的topic：
kafka-topics.sh --create --zookeeper master:2181,slave01:2181,slave02:2181 --replication-factor 2 --topic hello --partitions 1
参数详解：
  • Create参数代表创建；
  • zookeeper参数为zookeeper集群的主机名；
  • replication-factor代表生成多少个副本文件；
  • topic 为topic的名称；
  • partitions指定多少个分区。
查看topic是否创建成功：
kafka-topics.sh --list --zookeeper master:2181,slave01:2181,slave02:2181
在master服务器上创建名为test的topic生产者，并写入相关数据：
kafka-console-producer.sh --broker-list master:9092,slave01:9092,slave02:9092 --topic test
在slave01服务器上创建消费者，并查看数据：
kafka-console-consumer.sh --zookeeper master:2181,slave01:2181,slave02:2181 --topic test --from-beginning
查看某个topic结构：

kafka-topics.sh --describe --zookeeper master:2181,slave01:2181,slave02:2181 --topic test
查看所有topic结构：
kafka-topics.sh --describe --zookeeper master:2181,slave01:2181,slave02:2181

END


本文作者：黄嘉俊(上海新炬中北团队）

本文来源：“IT那活儿”公众号

zookeeper集群kafkazookeeper
文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论