之前架设了一个Kafka集群,跑了很久没有什么错误,最近开发的小伙伴跟我说部分kafka不能消费了,了解详细情况后,自己也赶紧作了个测试,发现是有报错
...
Caused by: rg.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.
...
报错在网上搜了一下,根据网友的经验,是消费组协调leader不存在导致。具体使用以下命令再查看
kafka-topics.sh -bootstrap-server <broker1>:9092,<broker2>:9092,<broker3>:9092 --topic __consumer_offsets --describe
说明:具体使用时broker1/2/3需要替代为真实的可解析主机名。 通过上述命令发现确有Leader:none。可能原因是 __consumer_offset topic的默认分区是50,但是备份只有1份; kafka集群部署了3台,也就是3个brokers消费者组连接kafka,并会请求某一台来查找Coordinator(协调者),如果连接的机器上没有备份就不会有Leader,就会出现 找不到Coordinator(协调者)。 查看offsets.topic.replication.factor默认配置,我之前做过修改,值为2,心想磁盘本来就做了RAID10了,降低默认的副本数量,增加点可用容量,殊不知造成如此后果。因此,还是修改回原来的默认值3吧。修改后滚动重启kafka。
标签:available,协调者,9092,kafka,topic,coordinator,报错,默认,Kafka From: https://blog.51cto.com/huanghai/8491959