若有收获,请记得分享和转发哦
说说你对kafka的理解
kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。
如果说按照容易理解来分层的话，大致可以分为3层：
第一层是Zookeeper，相当于注册中心，他负责kafka集群元数据的管理，以及集群的协调工作，在每个kafka服务器启动的时候去连接到Zookeeper，把自己注册到Zookeeper当中
第二层里是kafka的核心层，这里就会包含很多kafka的基本概念在内：
record：代表消息
topic：主题，消息都会由一个主题方式来组织，可以理解为对于消息的一个分类
producer：生产者，负责发送消息
consumer：消费者，负责消费消息
broker：kafka服务器
partition：分区，主题会由多个分区组成，通常每个分区的消息都是按照顺序读取的，不同的分区无法保证顺序性，分区也就是我们常说的数据分片sharding机制，主要目的就是为了提高系统的伸缩能力，通过分区，消息的读写可以负载均衡到多个不同的节点上
Leader/Follower：分区的副本。为了保证高可用，分区都会有一些副本，每个分区都会有一个Leader主副本负责读写数据，Follower从副本只负责和Leader副本保持数据同步，不对外提供任何服务
offset：偏移量，分区中的每一条消息都会根据时间先后顺序有一个递增的序号，这个序号就是offset偏移量
Consumer group：消费者组，由多个消费者组成，一个组内只会由一个消费者去消费一个分区的消息
Coordinator：协调者，主要是为消费者组分配分区以及重平衡Rebalance操作
Controller：控制器，其实就是一个broker而已，用于协调和管理整个Kafka集群，他会负责分区Leader选举、主题管理等工作，在Zookeeper第一个创建临时节点/controller的就会成为控制器
第三层则是存储层，用来保存kafka的核心数据，他们都会以日志的形式最终写入磁盘中。
消息队列模型知道吗？kafka是怎么做到支持这两种模型的？
对于传统的消息队列系统支持两个模型：
点对点：也就是消息只能被一个消费者消费，消费完后消息删除 发布订阅：相当于广播模式，消息可以被所有消费者消费
那你跟我再具体讲讲分区分配策略？
主要有3种分配策略：
Range
不知道咋翻译，这个是默认的策略。大概意思就是对分区进行排序，排序越靠前的分区能够分配到更多的分区。
比如有3个分区，消费者A排序更靠前，所以能够分配到P0\P1两个分区，消费者B就只能分配到一个P2。
如果是4个分区的话，那么他们会刚好都是分配到2个。
RoundRobin
也就是我们常说的轮询了，这个就比较简单了，不画图你也能很容易理解。
这个会根据所有的主题进行轮询分配，不会出现Range那种主题越多可能导致分区分配不均衡的问题。
P0->A，P1->B，P1->A。。。以此类推
你知道新版本Kafka为什么抛弃了Zookeeper吗？
我认为可以从两个个方面来回答这个问题：
首先，从运维的复杂度来看，Kafka本身是一个分布式系统，他的运维就已经很复杂了，那除此之外，还需要重度依赖另外一个ZK，这对成本和复杂度来说都是一个很大的工作量。
其次，应该是考虑到性能方面的问题，比如之前的提交位移的操作都是保存在ZK里面的，但是ZK实际上不适合这种高频的读写更新操作，这样的话会严重影响ZK集群的性能，这一方面后来新版本中Kafka也把提交和保存位移用消息的方式来处理了。
另外Kafka严重依赖ZK来实现元数据的管理和集群的协调工作，如果集群规模庞大，主题和分区数量很多，会导致ZK集群的元数据过多，集群压力过大，直接影响到很多Watch的延时或者丢失。
并且Producer、Broker、Consumer都使用了优化后的压缩算法，发送和消息消息使用压缩节省了网络传输的开销，Broker存储使用压缩则降低了磁盘存储的空间。
轻松一刻，欣赏美景
点击下方
