kafka学习.docx
免费下载
Kafka
学习总结
1
、
Kafka
简介
Kafka
是一个开源的分布式消息引擎
/
消息中间件，同时
Kafka
也是一个流处理平台。
Kakfa
支持以发布
/
订阅的方式在应用间传递消息，同时并基于消息功能添加了
Kafka
Connect
、
Kafka Streams
以支持连接其他系统的数据
(Elasticsearch
、
Hadoop
等
)
Kafka
最核心的最成熟的还是他的消息引擎，所以
Kafka
大部分应用场景还是用来作为消
息队列削峰平谷。另外，
Kafka
也是目前性能最好的消息中间件。
2
、
Kafka
架构
在
Kafka
集群
(Cluster)
中，一个
Kafka
节点就是一个
Broker
，消息由
Topic
来承载，
可以存储在
1
个或多个
Partition
中。发布消息的应用为
Producer
、消费消息的应用为
Consumer
，多个
Consumer
可以促成
Consumer Group
共同消费一个
Topic
中的消
息。
概念
/
对象 简单说明
Broker Kafka
节点
Topic
主题，用来承载消息
Partition
分区，用于主题分片存储
Producer
生产者，向主题发布消息的应用
Consumer
消费者，从主题订阅消息的应用
Consumer Group
消费者组，由多个消费者组成
3
、准备工作
Kafka
服务器
准备
3
台
CentOS
服务器，并配置好静态
IP
、主机名
Kakfa
集群需要依赖
ZooKeeper
存储
Broker
、
Topic
等信息，这里我们部署三台
ZK
192.168.218.101 Kafka
节点
1 zk
192.168.218.102 Kafka
节点
2 zk
192.168.218.103 Kafka
节点
3 zk
安装部署好
kafka
之后，查看
kafka_2.11-1.1.0/con*g/server.properties
，配置以下
内容
设置
broker.id
这里是用于投票选举，每个节点的数字不一样
设置
kafka
日志存放目录
设置监听端口
of 6
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论