创建kafka topic
bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2
注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数
-
partitions分区数:
-
- partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
- 虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
- 分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
- 分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。
-
replication-factor副本
-
- replication factor 控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。
- 如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量
查看所有topic列表
bin/kafka-topics.sh --zookeeper node01:2181 --list
查看指定topic信息
bin/kafka-topics.sh --zookeeper node01:2181 --describe --topic t_cdr
控制台向topic生产数据
bin/kafka-console-producer.sh --broker-list node86:9092 --topic t_cdr
控制台消费topic的数据
bin/kafka-console-consumer.sh --zookeeper node01:2181 --topic t_cdr --from-beginning
查看topic某分区偏移量最大（小）值
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic hive-mdatabase-hostsltable --time -1 --broker-list node86:9092 --partitions 0
注： time为-1时表示最大值，time为-2时表示最小值
修改topic分区数
将sjqxAfterCarTopic 修改为10个分区
sh kafka-topics.sh --alter --topic sjqxAfterCarTopic --partitions 4 --zookeeper 10.10.50.191:2181
列出所有的消费组
sh kafka-consumer-groups.sh --list --zookeeper 10.10.51.31:2181
查看topic消费进度
这个会显示出consumer group的offset情况， 必须参数为–group， 不指定–topic，默认为所有topic
Displays the: Consumer Group, Topic, Partitions, Offset, logSize, Lag, Owner for the specified set of Topics and Consumer Group
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
required argument: [group]
Option Description
–broker-info Print broker info
–group Consumer group.
–help Print this message.
–topic Comma-separated list of consumer
topics (all topics if absent).
–zkconnect ZooKeeper connect string. (default: localhost:2181)
Example,
[root@hdp1 bin]# sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group console-consumer-20579 --topic test --zookeeper 10.10.51.31:2181
Group Topic Pid Offset logSize Lag Owner
console-consumer-20579 test 0 1 1 0 console-consumer-20579_hdp1.xucl.telchina-1539049525155-176a3657-0
console-consumer-20579 test 1 0 0 0 console-consumer-20579_hdp1.xucl.telchina-1539049525155-176a3657-0
console-consumer-20579 test 2 0 0 0 console-consumer-20579_hdp1.xucl.telchina-1539049525155-176a3657-0
console-consumer-20579 test 3 0 0 0 console-consumer-20579_hdp1.xucl.telchina-1539049525155-176a3657-0
修改某个topic的有效期
kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name test --alter --add-config retention.ms=864000000
修改offset位置
sh kafka-console-consumer.sh --bootstrap-server 10.10.71.61:6667 --group solr_index_fomal_1 --topic telchina_vsd_topic_num1 --partition 1 --offset 10535040 --max-messages 1
