首页 > 其他分享 >面试常问问题-中间件一kafka

面试常问问题-中间件一kafka

时间:2024-04-24 18:01:10浏览次数:30  
标签:消费 常问 消费者 配置 中间件 kafka topic 消息

kafka是一个分布式发布订阅消息系统

名词:

生产者(producer)、消费者(consumer)、topic(一个消息又一个topic)、partition(分区)

作用1:

传输数据(ey: 埋点)

kafka发送消息失败的可能:
1、网络问题导致kafka的服务器无法连接;

2、生产者配置错误;

3、消息大小超过服务器配置的限制;

4、主题不存在或配置错误;

5、权限问题

6、资源不足

7、kafka进程奔溃

kafka消费消息失败的可能:

1、配置问题,比如配置的topic不对

2、消费者群组配置错误

3、消费者处理能力不足

4、网络问题导致重复消费,需要消费者实现消费幂等

总结:包括不限于检查配置、调整生产与消费的速度匹配、提高消费者的处理能力等;

 

测试时需要考虑:
1、发送消息失败后是否有重试机制

2、消费失败后是否有重试机制

3、网络问题是否会导致重复发送消息或消费消息

4、灌满数据的时候消费者的处理能力

标签:消费,常问,消费者,配置,中间件,kafka,topic,消息
From: https://www.cnblogs.com/Jenniferdeng/p/18156029

相关文章

  • 面试常问问题-中间件一kafka
    kafka是一个分布式发布订阅消息系统名词:生产者(producer)、消费者(consumer)、topic(一个消息又一个topic)、partition(分区)作用1:传输数据(ey:埋点)kafka发送消息失败的可能:1、网络问题导致kafka的服务器无法连接;2、生产者配置错误;3、消息大小超过服务器配置的限制;4、主题......
  • kafka - [01] 概述
    Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 一、什么是KafkaKafka是一个分布式的数据流式传输平台。1、ApacheKafka是一个开源消息系统,由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2、Kakfa最初是由LinkedIn公司......
  • 精通中间件测试:Asp.Net Core实战指南,提升应用稳定性和可靠性
    引言在上一章节我们实战了在Asp.NetCore中的项目实战,这一章节讲解一下如何测试Asp.NetCore的中间件。TestServer还记得我们在集成测试中提供的TestServer吗?TestServer是由Microsoft.AspNetCore.TestHost包提供的。包含了用于在测试环境中模拟ASP.NETCore应用程序的类......
  • zk集群+kafka集群搭建
    kafka集群搭建本文环境:Javajdk1.8+zookeeper3.6.1+kafka2.6.0+CentOS7.2准备服务器:三台linux服务器分别是11.10.135.198、11.10.135.202、11.10.135.207前置说明:zookeeper运行需要依赖jdk,kafka运行需要依赖zokeeper,所以需要先安装jdk,然后安装zookeepe......
  • 中间件 ZK分布式专题与Dubbo微服务入门 8-6 使用tomcat启动dubbo服务
    0课程地址https://coding.imooc.com/lesson/201.html#mid=12744 1重点关注1.1本节内容使用tomcat启动dubbo服务tomcat启动dubbo服务的弊端    2课程内容2.1tomcat启动dubbo服务的弊端tomcat本身也是软件,占用内存  ......
  • kafka消息只能在一台服务器消费的问题解决过程
    场景:kafka消费端应用部署在两台机器上,其中一台能消费到生产端发出的kafka消息,另一台服务器接收不到任何消息。解决过程:一、从消费端启动日志中找出所有消费端线程2024-04-2320:04:44,726[xx_xxapp03-1556011171628-976bc2af_watcher_executor]INFOkafka.consumer.RangeA......
  • 一次 kafka 消费者的性能调优过程
    背景最近上线了一个kafka的消费者,数据规模大概是低峰期单机每分钟消费88W条,QPS14666。上线后看了下数据,进程CPU到了132%。 8核的机器,单进程CPU132倒也还好,但还是想看看,到底是咋回事。过程第一次排查&优化(协程池化->约为0优化)于是就开始采集pprof的数据。golangpprof的采......
  • Kafka 线上性能调优
    Kafka线上性能调优是一项综合工程,不仅仅是Kafka本身,还应该从硬件(存储、网络、CPU)以及操作系统方面来整体考量,首先我们要有一套生产部署方案,基于这套方案再进行调优,这样就有了可靠的底层保证,才能保证Kafka集群整体的稳定性。1.线上部署方案1.1操作系统我们知道Kafka是......
  • kafka中文输出乱码
    目录乱码问题通常是由于编码不一致导致的。Kafka在处理消息时,如果生产者和消费者的字符编码设置不一致,可能会导致乱码。解决方法:确认Kafka生产者和消费者的字符编码设置一致。对于Java生产者和消费者,可以在配置中设置字符编码:props.put("key.serializer","org.apache.kafk......
  • 用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本
    在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件?为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看到底什么......