kafka一些基本操作

2016年05月31日 15:27:57 yilan1993 阅读数：1967

1. 查看某个topic各个分区的位置：

bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181

1. 创建某个topic：

bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 2 --partitions 10 --topic opstest

1. 查看创建的topic列表

bin/kafka-topics.sh --list --zookeeper ip:2181

1. 重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式：

1、generate模式，给定需要重新分配的Topic，自动生成reassignplan（并不执行）

2、execute模式，根据指定的reassign plan重新分配Partition

3、verify模式，验证重新分配Partition是否成功

4.1 首先定义一个json文件，topics-to-move.json 里面说明哪些topic需要重新分区，文件内容如下：

{"topics": [{"topic": "opstest"}],

 "version":1

}

4.2 利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2" --generate

4.3 然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中：new-topic-reassignment.json，然后执行操作：

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --reassignment-json-file new-topic-reassignment.json --execute

4.4 最后确认下执行结果

5. Kafka生成消息：

bin/kafka-console-producer.sh --broker-list 10.77.112.246:9092 --topic opstest

6. Kafka消费消息：

bin/kafka-console-consumer.sh --zookeeper ip:2181 --topic opstest --from-beginning

参考文章；http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html

转载请注明：SuperIT » kafka一些基本操作