- 2024-12-01消息中间件面试题之RocketMQ
为什么使用消息队列?解耦、异步、削峰消息队列有什么优点和缺点?优点:解耦、异步、削峰缺点:系统的可用性降低、系统的复杂性提高了、一致性问题。RabbitMQ上的一个queue中存放的message是否有数量限制?限制是多少默认情况下一般是无限制,因为限制取决于机器的内存,但是消息过多会
- 2024-11-27如何保证RocketMQ消息不丢失
如何保证RocketMQ消息不丢失目录如何保证RocketMQ消息不丢失背景什么情况下RokectMQ消息会丢失解决RocketMQ消息丢失问题消息生产防止消息丢失Broker端消息丢失消费端处理消息总结背景在金融系统中MQ消息的消息丢失是不允许的,消息的丢失会导致支付状态订单状态出现混乱。接下来
- 2024-12-11使用WinDbg进行动态调试
WinDbg是Microsoft提供的一款功能强大的调试工具,专门用于调试Windows操作系统中的内核模式和用户模式程序。通过图形界面和命令行接口,WinDbg提供了丰富的调试和分析功能,深受开发人员和IT专业人员的喜爱。本文将详细介绍如何使用WinDbg进行动态调试,并深入探讨其中的技术细节。
- 2024-09-13消息中间件面试题
为什么使用消息队列?解耦、异步、削峰消息队列有什么优点和缺点?优点:解耦、异步、削峰缺点:系统的可用性降低、系统的复杂性提高了、一致性问题。Kafka的特性1.消息持久化2.高吞吐量3.扩展性4.多客户端支持5.KafkaStreams注意:当你不会说的时候,就围绕着kafka你知道的kafka
- 2024-08-19[Mysql]日志刷盘总结
Mysqlredolog的刷盘时机mysql正常关闭的时候redologbuffer写入超过一半的时候后台线程每隔一秒写入磁盘一次0把redologbuffer中的内容刷盘2把pagecache中的内容刷盘事务提交的时候0每次提交事务,redolog留在buffer中不写入磁盘1每次提交事务,redolog写入磁
- 2024-05-28RabbitMQ、RocketMQ、Kafka对比(消息组件的作用)
在高并发的系统中,消息组件是最为常见的一款应用对比RacketMQ要比RabbitMQ性能高,但是不合适进行日志数据的采集(大数据采集最好别用)利用消息组件可以有效地实现数据缓冲的处理操作,例如:现在有一个抢购系系统,是需要考虑高并发状态下的用户请求正常处理问题服务器一旦接收远
- 2024-04-16MySQL的三大日志及事务
标题其实不太准确,应该是MySQL的binlog,InnoDB的redolog和undolog 事务的四大特征:ACID, 其中原子性(A)、隔离性(I)和持久性(D)是手段, 一致性(C)是目标。Atomicity 原子性 ==》由undolog实现Consistency一致性 ==》最终的目标,由AID共同来保证Isolation
- 2024-03-10Redis持久化
目录RDBAOFRDB和AOF的优缺点Redis持久化方式有两种,RDB和AOFRDBRDB全称RedisDatabaseBackupfile(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。Redis内部由触发RDB的机制,可
- 2024-02-22得物面试:Kafka消息0丢失,如何实现?
文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》,帮你实现技术自由,完成职业升级,薪
- 2024-01-26openGauss学习笔记-208 openGauss 数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降
openGauss学习笔记-208openGauss数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1.1问题现象TPCC高并发长稳运行因脏页刷盘效率导致性能下降,具体表现为:初始性能较高,随着运行时间增加,数据
- 2023-12-01如何保证RocketMQ消息不丢失
一、概述一个消息从开始到结束会经历这么三个阶段:生产阶段、消息队列Broker存储阶段和消费阶段。一个消息在三个阶段中的任何一个阶段都有可能丢失,知道这个之后,我们只要保证这三个阶段不出现问题,消息自然就不会出现丢失了。接下来我们来细说一下如何保证这三个阶段不出现问题。
- 2023-11-133分钟白话RocketMQ系列—— 如何存储消息
白话3分钟,快速了解RocketMQ如何存储消息。看完如果不了解,欢迎来打我。我们知道RocketMQ主要分为消息生产、存储(消息堆积)、消费三大块领域。那接下来,我们白话一下,RocketMQ是如何存储消息的,揭秘消息存储全过程。注意,如果白话中不小心提到相关代码配置与类名,请参考RocketMQ4.9.4
- 2023-08-21【RocketMQ】消息的存储总结
当Broker收到生产者的消息发送请求时,会对请求进行处理,从请求中解析发送的消息数据,接下来以单个消息的接收为例,看一下消息的接收过程。数据校验封装消息首先Broker会创建一个MessageExtBrokerInner对象封装从请求中解析到的消息数据,它会将Topic信息、队列ID、消息内容、消息属性
- 2023-07-31RocketMQ学习
rabbitMQ(ons)特性0拷贝顺序写盘随机读 延迟消息事务消息 顺序消息(rabbit没有这个)基于nettynio框架NameServer代替Zookeeper,寻址方式,更轻量级。集群架构无单点,扩展性强。消息重试机制,消息查询(rabbit不支持重试)社区活跃、成熟度好 模型Producer ConsumerBroker
- 2023-07-25MySQL日志文件简记
日志文件binlogbinlog主要记录了MySQL数据库执行了更改的所有操作,主要用来做主从复制,数据恢复记录模式:Statement模式:每一条回修改数据的sql都会被记录在日志中Row模式:每一行具体变更是俺都会被记录在binlog中混合模式刷盘时机选择0:由系统自行判断何时刷盘1:每次提交事务
- 2023-07-22redis刷盘
Redis刷盘:保障数据持久化Redis是一种快速、开源的内存数据结构存储系统,它支持多种数据结构,如字符串、哈希表、列表、集合和有序集合。由于其高性能和灵活性,Redis被广泛应用于缓存、消息队列、实时分析等场景。然而,由于Redis将数据存储在内存中,一旦服务器断电或奔溃,内存中的数据将
- 2023-07-122023-07-12:RocketMQ如何做到消息不丢失?
2023-07-12:RocketMQ如何做到消息不丢失?答案2023-07-12:RocketMQ通过刷盘机制、消息拉取机制和ACK机制等多种方式来确保消息投递的可靠性,防止消息丢失。1.刷盘机制RocketMQ中的消息分为内存消息和磁盘消息,内存消息在Broker内存中进行读写,磁盘消息则保存在磁盘上。RocketMQ支持同
- 2023-05-18RocketMQ之消息持久化存储源码分析
一、原理1.1消息存在哪了?消息持久化的地方其实是磁盘上,在如下目录里的commitlog文件夹里。/root/store/commitlog源码如下://{@linkorg.apache.rocketmq.store.config.MessageStoreConfig}//数据存储根目录privateStringstorePathRootDir=System.getProperty("use
- 2023-03-29关于 kafka 的一些经验
1.kafka高吞吐原因PageCache+顺序写磁盘(读与写)producer请求:Server端的I/O线程统一将请求写到操作系统的PageCache后立即返回,当消息达到一定阈值后,Kafka应
- 2023-03-1967.Mysql的组复制
Mysql的组复制(groupcommit)AnInnoDBoptimizationthatperformssomelow-levelI/Ooperations(logwrite)onceforasetofcommitoperations, rathertha
- 2023-03-07RocketMQ高可用机制
RocketMQ高可用机制集群部署模式1.单master模式2.多master模式配置配置文件broker.properties的brokerClusterName需要保持一致brokerId需要为0,0代表为0优缺点
- 2023-02-20KVM虚拟化之磁盘:磁盘缓存模式
虚拟化一般网络和存储都是难点。下图所示,磁盘I/O从虚拟机到宿主物理机存储的过程。其中虚拟机镜像并不是必须的。并不一定要给虚拟机创建虚拟磁盘文件。我们可以通过逻
- 2023-01-08RocketMQ存储篇四:刷盘
概览RocketMQ主从同步指的是消息发送到master的内存中,并且等到同步到slaver的内存才返回;刷盘则是将内存中的消息写入磁盘,同样分为同步刷盘和异步刷盘。同步刷盘指一条
- 2022-12-287张图揭晓RocketMQ存储设计的精髓
简介:RocketMQ作为一款基于磁盘存储的中间件,具有无限积压能力,并提供高吞吐、低延迟的服务能力,其最核心的部分必然是它优雅的存储设计。RocketMQ作为一款基于磁盘存储的中