首页 > 其他分享 >kafka消费端速度慢解决方案

kafka消费端速度慢解决方案

时间:2023-12-09 17:44:39浏览次数:33  
标签:消费 解决方案 kafka 速度慢 提交 patition 数据

一、增加patition数量, 有多少个patition就会启多少个消费者线程去消费,跟消费者服务节点的数量无关,只能patition有关。

二、patition一样的情况下,改为批量消费,一次拉取多条数据,max.poll.records,利用多线程去处理数据,避免单线程处理批量数据时间过长,导致超时。

 

提交方式问题:

enable.auto.commit:

1、默认为true,就是消费到数据就自动提交成功,处理数据出现问题没默认消费成功了

2、重要数据改为false,改为手动提交,consumer.commitSync();

https://blog.csdn.net/shaolong1013/article/details/102978288

标签:消费,解决方案,kafka,速度慢,提交,patition,数据
From: https://www.cnblogs.com/guoyu1/p/17891246.html

相关文章

  • AMQP协议中的,消息队列RabbitMQ,ActiveMQ,Apache Kafka区别是什么?
    都是基于AMQP协议来的一种实现方式。参考chatGPT4回答请使用Markdown表格来展示RabbitMQ、ActiveMQ和ApacheKafka之间的区别:维度RabbitMQActiveMQApacheKafka语言ErlangJavaScala/Java协议AMQP、STOMP、MQTTAMQP、STOMP、OpenWire自定义协议......
  • 汽车电子智能保险丝解决方案
    一、背景知识在过去的几十年里,电子在汽车系统创新中发挥了关键作用。新型半导体器件具有新颖的功能,增强了车辆机械系统提供的功能。虽然半导体解决方案和电子产品将继续在汽车电子产品中发挥关键作用,但展望未来,汽车创新将更多地以软件的创新和整合为特征。软件架构的这种变化反过来......
  • 云宏全栈政务云解决方案推动数字政府智慧化建设
    当今世界,数字经济正成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。粤港澳大湾区拥有强大的人才储备、雄厚的产业基础以及丰富的数据资源等优势。发展数字经济,打造具有国际竞争力的数字经济产业集群,是增强粤港澳大湾区发展新动能、把握新一轮科技革命和产业......
  • WorkPlus企业数字化转型的超级APP,All in one完美解决方案
    当企业面临复杂的协同、业务和生态场景时,多个繁琐的应用和系统常常让员工头疼不已。然而,WorkPlus作为企业数字化转型的超级APP,以其一站式全能解决方案,为企业带来了颠覆性的便利与高效。本文将深入探讨WorkPlus的特点和优势,带您领略Allinone的数字化工作新体验。可点击WorkPlus了......
  • Redis生产实战-热key、大key解决方案、数据库与缓存最终一致性解决方案
    生产环境中热key处理热key问题就是某一瞬间可能某条内容特别火爆,大量的请求去访问这个数据,那么这样的key就是热key,往往这样的key也是存储在了一个redis节点中,对该节点压力很大那么对于热key的处理就是通过热key探测系统对热key进行计数,一旦发现了热key,就将热key......
  • 3DCAT+上汽奥迪:打造新零售汽车配置器实时云渲染解决方案
    在5G、云计算等技术飞速发展的加持下,云渲染技术迎来了突飞猛进的发展。在这样的背景下,3DCAT应运而生,成为了业内知名的实时云渲染服务商之一。交互式3D实时云看车作为云渲染技术的一种使用场景,也逐步成为一种新的看车方式,利用云端计算资源,通过超高清、全实时、可交互、沉浸式的......
  • kafka集群双活-数据迁移
    一、集群搭建(kafka使用自带的zookeeper)前提:必须要有java环境1、下载地址:http://kafka.apache.org/downloads2、安装目录/app/kafkatar-zxvfkafka_2.12-3.6.1.tgz 建立数据和日志存储目录mkdir-p/app/kafka/data/zookeeper/mkdir-p/app/kafka/data/kafka/mkd......
  • kafka数据入paimon(flink-sql)
    1.创建CATALOGCREATECATALOGpaimon_hiveWITH('type'='paimon','metastore'='hive','uri'='thrift://hadoopm111:9083','warehouse'='hdfs:///apps/hive/paimon');2.创建表接ka......
  • 分布式事务-Seata解决方案
    一、定义   Seata解决方案是分布式事务解决方案之一。常用的分布式事务解决方案有:2PC,3PC,TCC,SAGA(seata)、本地消息表、MQ消息事务、最大努力通知。   Seata是一款分布式解决方案,致力于提供高性能和简单易用的分布式事务服务。提供事务模式有:AT,TCC,SAGA,XA。其中......
  • 2.Kafka
    Kafka是什么?主要应用场景有哪些?Kafka是一个分布式流式处理平台。流平台具有三个关键功能:消息队列:发布和订阅消息流,这个功能类似于消息队列,这也是Kafka也被归类为消息队列的原因。容错的持久方式存储记录消息流:Kafka会把消息持久化到磁盘,有效避免了消息丢失的风险。流式......