首页 > 其他分享 >kafka线上事故

kafka线上事故

时间:2024-05-11 16:31:26浏览次数:15  
标签:java network 事故 kafka 线上 apache org common

错误日志

[2024-05-07 11:59:11,089] ERROR Processor got uncaught exception. (kafka.network.Processor)
java.lang.OutOfMemoryError: Direct buffer memory
        at java.nio.Bits.reserveMemory(Bits.java:695)
        at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123)
        at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311)
        at sun.nio.ch.Util.getTemporaryDirectBuffer(Util.java:241)
        at sun.nio.ch.IOUtil.read(IOUtil.java:195)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:378)
        at org.apache.kafka.common.network.PlaintextTransportLayer.read(PlaintextTransportLayer.java:103)
        at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:118)
        at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:452)
        at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:402)
        at org.apache.kafka.common.network.Selector.attemptRead(Selector.java:674)
        at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:576)
        at org.apache.kafka.common.network.Selector.poll(Selector.java:481)
        at kafka.network.Processor.poll(SocketServer.scala:989)
        at kafka.network.Processor.run(SocketServer.scala:892)
        at java.lang.Thread.run(Thread.java:748)

标签:java,network,事故,kafka,线上,apache,org,common
From: https://www.cnblogs.com/xxzjtg/p/18186726

相关文章

  • 2-线上服务器网络安全配置与系统登陆安全配置
    2.线上服务器网络安全配置与系统登陆安全配置线上服务器网络安全配置与系统登陆安全配置关闭selinuxiptables配置iptables-PINPUTACCEPTiptables-Fiptables-AINPUT-ptcp-mtcp-dport80-jACCEPTiptables-AINPUT-s1.1.1.1-ptcp-mtcp--dport22-j......
  • kafka的名词解释
    1.Replica(副本):在Kafka中,每个分区都有多个副本,用于提供数据的冗余备份和高可用性。副本可以分为两种类型:领导者副本(leaderreplica)和追随者副本(followerreplica)。领导者副本:每个分区都有一个领导者副本,它负责处理与客户端的所有读写请求,是分区的主要副本。追随者副本:领导者副本......
  • 使用spring.cloud.stream来发送kafka消息,并根据某字段将消息发送到固定partition上
    1、问题:在进行功能开发的时候遇到一个需求,具体需求如下:在某个服务A中接收到消息,对消息体进行校验,判断消息体中的数据是否需要产生告警,若产生告警,则将告警信息发送到kafka中,由另一个服务B接收到消息并记录到mongo中;当A服务在此接收到消息,发现以前的某个告警已经恢复,则再......
  • 20240509线上问题排查
    iotop-oPpidstat-d1mpstat-PALL5cat/proc/*/status|grep-E'State:.*Z.*|State:.*D.*'-A10-B2tophttps://blog.csdn.net/chrisy521/article/details/128532234db.system.profile.find({"millis":{$gte:500}}).limit(10).sort({ts:......
  • 记一次线上Redis内存占用过高、大Key问题的排查
    问题背景在一个风和日丽的下午,公司某项目现场运维同学反馈,生产环境3个Redis的Sentinel集群节点内存占用都很高,达到了17GB的内存占用量。稍加思索,应该是某些Key的Value数据体量过大,占用了过多的内存空间,我们在使用Redis的过程中,单个Value或者单个集合中的元素应该保证不超过10KB,......
  • Kafka存储机制
    Kafka之所以有那么高的吞吐量,很大程度取决于它的存储机制,一个主题可以有多个partition,每个partition有一个leader和多个副本,读写主要通过leader,副本的主要功能还是为了保证数据的安全性和保证可靠性,当某个partition的leader出现异常后,剩余副本可以选举出新的leader;每个partition......
  • kafka
    Kafka是一个分布式流处理平台,被广泛用于构建实时数据管道,允许你从不同的数据源获取数据,然后在系统之间实时传输数据。Kafka的主要特性包括:分布式:Kafka可以在多台机器上部署,可以处理超过1PB的数据。高吞吐:Kafka每秒可处理数百万条消息。可持久化:Kafka将所有消息存储......
  • ISCC线上赛2023
    ISCC线上赛2023webweb1双重base解码得到flagweb3F12控制台查看可找到loveStory.phpEnc.phpdownload.php,loveStory.php为反序列源码boy::__destruct()-->girl()::__call()-->helper()::__isset()-->boy()::__toString()-->helper()::__get()-->love_story()::__love()......
  • docker部署kafka服务
    dockerrun-d--namekafka--hostnamekafka-server\--log-optmax-size=200m\--log-optmax-file=1\--restart=always\-p9092:9092\--memory1024m\-eKAFKA_CFG_LOG_RETENTION_MS=60000\-eKAFKA_CFG_MAX_REQUEST_SIZE......
  • 河南大学大礼堂火灾事故引发安防监控对智能分析技术应用的思考
    一、方案背景2024年5月2日,在修缮施工期间的河南大学河南留学欧美预备学校旧址大礼堂发生火情。现场航拍画面显示,大礼堂经过火灾,房顶已经基本坍塌,被火烧过的建筑呈焦黑状。公开资料显示,大礼堂属河南留学欧美预备学校旧址,2006年,河南留学欧美预备学校旧址被国务院公布为第六批全国......