首页 > 其他分享 >Kafka创建不了topic问题,定位1个月的现场血案,居然如此简单

Kafka创建不了topic问题,定位1个月的现场血案,居然如此简单

时间:2024-11-23 16:58:47浏览次数:11  
标签:现场 创建 血案 Kafka topic 正常 底座

背景

        2022年某天,我还在happy的看着电影。突然,手上握着的红米手机响起了周杰伦《回到过去》的铃声。哟,现场童鞋又来电话了,一接听电话,就响起了比较焦急的声音,“哥,现场有个Kafka集群创建不了topic了,赶紧帮忙看下!”,不爽,今天是周六,本来休息的时间,但是谁叫咱们有现场问题呢!

干活

现场信息

        跟现场童鞋沟通了一会儿后,当前场景是这样:

  1. Kafka集群开通了SASL
  2. 前2天还能创建topic,不过刚好后面做了一次底座平台升级
  3. Kafka吞吐量正常,生产者和消费者都有正常流量出入
  4. Kafka日志中没有明显报错
  5. 页面和Kafka命令创建topic都是同一个现场,创建超时
  6. zk中有controller的信息

        这就很费劲了,正常来说,zk正常,kafka broker正常,那么应该就没问题才对,而且日志中也没有报错。因为是现场问题,所以得先恢复环境,那么就先采集紧急措施,kafka集群滚动重启(现场kafka集群只有3个broker),重启后正常。

实验室模拟

        现场环境没了,又没有太多的头绪,只能在实验室环境进行现场模拟,搜集到的现场信息中,有一个地方引起了我的注意,底座平台升级,正常创建topic和出现问题之间进行过底座平台升级,底座平台升级必然会升级网络,那么是否是网络组件引起的呢?

   

标签:现场,创建,血案,Kafka,topic,正常,底座
From: https://blog.csdn.net/youyou263/article/details/143993604

相关文章

  • 一次Kafka调优总结
    概述kafka设计的初衷是迅速处理小量的消息,一般1-10K大小的消息吞吐性能最好,kafkabroker的默认配置也是以1-10K消息为基准配置的,如果程序生产消费的消息都不大于10K,可以在只调优JVM,其他使用默认配置就能让kafka达到一个比较高的性能。如果涉及到大消息和大流量,请先确定好实际......
  • ActiveMQ消息模式Queue和Topic机制讲解
    Docker安装ActiveMQ镜像以及通过Java生产消费activemq示例_dockeractivemq-CSDN博客背景周末由于服务器异常宕机,导致业务系统重启后出现ActiveMQ中的数据没有被正常消费,运维认为是消息积压,便联系博主排查。最终发现并不存在消息积压,是因为采用ActiveMQTopic模式生产消费......
  • k8s部署Kafka集群超详细讲解
    准备部署环境Kubernetes集群信息NAMEVERSIONk8s-masterv1.29.2k8s-node01v1.29.2k8s-node02v1.29.2Kafka:3.7.1版本Zookeeper:3.6.3版本准备StorageClass#kubectlgetscNAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPAN......
  • Kafka集群以开启客户端鉴权
    在Kubernetes环境中,如果您使用的是StrimziKafkaOperator来管理您的Kafka集群,您可以通过CustomResourceDefinitions(CRD)来配置Kafka集群以开启客户端鉴权。以下是使用API接口创建Kafka集群并开启客户端鉴权的步骤:1.安装StrimziKafkaOperator首先,确保您已经在Kubernet......
  • Apache Kafka消息传递策略
    kafka消息传递策略微信公众号:阿俊的学习记录空间小红书:ArnoZhangwordpress:arnozhang1994博客园:arnozhangCSDN:ArnoZhang1994现在我们了解了一些关于生产者和消费者的工作原理,接下来讨论Kafka在生产者和消费者之间提供的策略保证。显然,消息传递可以提供多种保证:最多一次......
  • Apache Kafka 使用示例
    Kafka快速入门指南微信公众号:阿俊的学习记录空间小红书:ArnoZhangwordpress:arnozhang1994博客园:arnozhangCSDN:ArnoZhang1994第一步:获取Kafka下载2.13-3.8.0版本的Kafka版本并解压:$tar-xzfkafka_2.13-3.8.0.tgz$cdkafka_2.13-3.8.0第二步:启动Kafka环境注意:你的......
  • Kafka 的 Producer 如何实现幂等性
    在分布式系统中,消息队列Kafka扮演着重要的角色。而确保Kafka的Producer(生产者)的消息发送具有幂等性,可以极大地提高系统的可靠性和稳定性。那么,Kafka的Producer是如何实现幂等性的呢?让我们一起来深入探讨。一、什么是幂等性?在数学中,幂等性是指一个操作执行多次与执......
  • 消息队列详细介绍、工作原理,kafka与RocketMQ的比对
    消息队列:当一个服务处理量为100,而另一个服务发送量为200,这时候多余的消息会被丢弃,如果想要全部处理,我们必须加入队列,这个队列用来存储消息的信息,通过offset表示当前处理的位置。注意此时队列还位于进程中,也就是服务进程,我们的进程一旦挂掉,未被处理的消息会直接丢失,我们不希望......
  • kafka基础学习
    Kafka系列的阶段性总结(万字长文,做好准备)这是Java极客技术的第265篇原创文章初识Kafka什么是KafkaKafka是由Linkedin公司开发的,它是一个分布式的,支持多分区、多副本,基于Zookeeper的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。Kaf......
  • ROS通信方式之Topic话题与Message消息的关系与C++实现
    ros由于其分布式模块化的设计理念,会将一个完整任务分解成多个节点去实现,这些节点之间的协作通过topic话题和message消息.相关概念有节点(Nodes):节点是一个可执行文件,它可以通过ROS来与其他节点进行通信。消息(Messages):订阅或发布话题时所使用的ROS数据类型。话题(Topics):节点可以将......