首页 > 其他分享 >Kafka异常——The coordinator is not available

Kafka异常——The coordinator is not available

时间:2023-11-20 23:01:38浏览次数:43  
标签:available 协调者 9092 kafka topic coordinator 报错 默认 Kafka

之前架设了一个Kafka集群,跑了很久没有什么错误,最近开发的小伙伴跟我说部分kafka不能消费了,了解详细情况后,自己也赶紧作了个测试,发现是有报错

...
Caused by: rg.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.
...

报错在网上搜了一下,根据网友的经验,是消费组协调leader不存在导致。具体使用以下命令再查看

kafka-topics.sh -bootstrap-server <broker1>:9092,<broker2>:9092,<broker3>:9092 --topic __consumer_offsets --describe

说明:具体使用时broker1/2/3需要替代为真实的可解析主机名。 通过上述命令发现确有Leader:none。可能原因是 __consumer_offset topic的默认分区是50,但是备份只有1份; kafka集群部署了3台,也就是3个brokers消费者组连接kafka,并会请求某一台来查找Coordinator(协调者),如果连接的机器上没有备份就不会有Leader,就会出现 找不到Coordinator(协调者)。 查看offsets.topic.replication.factor默认配置,我之前做过修改,值为2,心想磁盘本来就做了RAID10了,降低默认的副本数量,增加点可用容量,殊不知造成如此后果。因此,还是修改回原来的默认值3吧。修改后滚动重启kafka。

标签:available,协调者,9092,kafka,topic,coordinator,报错,默认,Kafka
From: https://blog.51cto.com/huanghai/8491959

相关文章

  • kafka
    kafka下载路径:(https://kafka.apache.org/downloads)一、kafka单机安装1.1上传jdk环境jdk-8u202-linux-x64.tar.gzkafka_2.12-3.5.1.tgz1.2解压安装包tarxfjdk-8u202-linux-x64.tar.gz-C/usr/local/cd/usr/local/mvjdk1.8.0_202/java1.3编写环境变量文......
  • Canal+Kafka实现MySQL与Redis数据同步(二)
    Canal+Kafka实现MySQL与Redis数据同步(二)创建MQ消费者进行同步在application.yml配置文件加上kafka的配置信息:spring:kafka:#Kafka服务地址bootstrap-servers:127.0.0.1:9092consumer:#指定一个默认的组名group-id:consumer-group1......
  • kafka入门(一):kafka消息消费
    安装kafka,创建topic:Windows安装kafka,详情见:https://blog.csdn.net/sinat_32502451/article/details/133067851Linux安装kafka,详情见:https://blog.csdn.net/sinat_32502451/article/details/133080353添加依赖包:<dependency><groupId>org.springfr......
  • org.elasticsearch.client.transport.NoNodeAvailableException: None of the configu
    org.elasticsearch.client.transport.NoNodeAvailableException:Noneoftheconfigurednodesareavailableelasticsearch有两个端口:http_port和transport.tcp.port①http_port是ES节点与外部通讯使用的端口。它是http协议的RESTful接口(各种CRUD操作都是走的该端口)默认9200......
  • kafka安装教程
    检查java8没有就安装java-version安装jdk1.8yum-yinstalljava-1.8.0-openjdk下载kafka(网速很慢)wgethttps://dlcdn.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz解压缩tar-xzfkafka_2.13-3.5.0.tgzcdkafka_2.13-3.5.0后台启动ZooKeeper服务(这里使用kafka里......
  • Introduing some cores concepts within kafka
    IntroductionToday,wetalkaboutsomecoresconceptswithinkafka.Apachekafkaisadistributedpublish-subscribemessagingsystem.ItisoriginallydevelopedatLinkdlnCorporationandlateronbecomeapartofApaccheproject,kafkaisafast,scalabl......
  • Kafka入门教程与详解(一)
    Kafka入门教程与详解(一)一、Kafka入门教程1.1消息队列(MessageQueue)MessageQueue消息传送系统提供传送服务。消息传送依赖于大量支持组件,这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。JMS(JavaMessaging......
  • Kafka 集群如何实现数据同步?
    哈喽大家好,我是咸鱼最近这段时间比较忙,将近一周没更新文章,再不更新我那为数不多的粉丝量就要库库往下掉了T﹏T刚好最近在学Kafka,于是决定写篇跟Kafka相关的文章(文中有不对的地方欢迎大家指出)考虑到有些小伙伴可能是第一次接触Kafka,所以先简单介绍一下什么是Kafka吧!Kafka......
  • Apache Kafka
    ApacheKafka®是 一个分布式流处理平台.这到底意味着什么呢?我们知道流处理平台有以下三种特性:可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录,并且有较好的容错性。可以在流式记录产生时就进行处理。Kafka适合什么样的场景?它可......
  • kafka第七天学习笔记
    在Kafka学习的第七天,你可能会进一步深入了解Kafka的特性和工作机制。以下是一些可能的学习点:Kafka的存储机制:Kafka使用一种称为“日志文件”的存储机制,将消息作为字节流存储在硬盘上。这种存储方式使得Kafka能够高效地处理大量的数据。消息的索引:Kafka为每个分区在硬盘上创建一个索......