首页 > 数据库 >生产实践:Redis与Mysql的数据强一致性方案

生产实践:Redis与Mysql的数据强一致性方案

时间:2023-11-24 13:25:58浏览次数:37  
标签:生产实践 缓存 数据库 Redis 更新 查询 user Mysql 数据

公众号「架构成长指南」,专注于生产实践、云原生、分布式系统、大数据技术分享。

数据库和Redis如何保持强一致性,这篇文章告诉你

目的

Redis和Msql来保持数据同步,并且强一致,以此来提高对应接口的响应速度,刚开始考虑是用mybatis的二级缓存,发现坑不少,于是决定自己搞

要关注的问题点

操作数据必须是唯一索引

如果更新数据不是唯一索引,则数据库更新后的值,与缓存不一致,而查询还会走缓存,而查询的值是脏值。

查询唯一数据,数据值必须是全部字段

假如:B交易查询字段不是全部字段,进行查询放入缓存,A交易进行查询时,从缓存获取,由于A交易需要全部字段,所以就会出现不可预知的问题。

查询缓存数据后,必须要在程序中再次进行条件判断

因为在redis中,存储的的key是唯一索引,所以当查询数据后,只会命中唯一索引的数据,其他附带查询条件不生效。

例如:唯一索引为:user_id ,那么执行
select * from t_user_auth_info where user_id=‘111’ and user_level=‘1’是,条件user_level是不会生效

高并发场景下要注意脏数据的控制

假设是以上流程图,在更新操作,第一步删除缓存后,线程切换到查询线程,查询操作判断缓存中没有数据,就会查询数据库,并把数据存入到缓存中,这时线程在切换到更新线程,进行数据库的更新,这会就会造成,数据库的数据与缓存有不一致性。

最终方案

基于以上问题,我们的最终流程图如下

以上流程图在进行更新操作时,增加删除缓存lock,如果这会查询操作判断缓存中有数据,就直接返回数据,如果没有再次判断有没有存在删除缓存lock,如果有则走数据库查询,并返回,不放入缓存,如果没有则查询数据库,并放入缓存,并返回。

注意: 登记缓存标识时,增加缓存lock失效时间,因为有可能删除缓存和数据库更新成功了,而删除缓存lock失败了,那这样后续查询就都走数据库了,这个方案就失去意义了。

代码实现方案

通过aop对db的操作方法,进行拦截,查询方法采用一个切面,删除和更新方法采用一个切面,然后再按照以上流程进行编写,我们这边是使用框架进行封装,最后只需要开发人员配置以下xml即可

<cache-config>
	<cache-entity po="com.demo.po.AuthUser" key-prefix="SYSTEM_Person" po-throws="true" key-expire="" key-expire-time-unit="">
		<key-properties>userId</key-properties>		
	</cache-entity>
</cache-config>

如果需要具体实现方案,请联系作者

标签:生产实践,缓存,数据库,Redis,更新,查询,user,Mysql,数据
From: https://www.cnblogs.com/waldron/p/17853511.html

相关文章

  • MySQL将'20231124'转换为'yyyy/MM/dd'格式
    可以使用STR_TO_DATE函数将一个字符串转换为日期,并使用DATE_FORMAT函数将日期格式化为指定的格式SELECTDATE_FORMAT(STR_TO_DATE('20231124','%Y%m%d'),'%Y/%m/%d');解释一下上述语句的步骤:STR_TO_DATE('20231124','%Y%m%d')将字符串"20231124"转换为日期......
  • mysql5.0升级8.0完成后,服务器重启引发"#1449 - The user specified as a definer ('m
    遇到的问题:问题一:ERROR1449(HY000):Theuserspecifiedasadefiner('mysql.infoschema'@'localhost')doesnotexist异常原因:未知解决办法:验证指定的用户('mysql.infoschema'@'localhost')是否存在于mysql数据库中SELECTUserFROMmysql.userWH......
  • mysql 一些优化参数
     大批量数据加载优化load数据加载格式:loaddatalocalinfile'文件路径'intotable表名fieldsterminatedby'[分隔符]'lineterminatedby'[换行符]'11、首先,检测全局变量‘local_infile’的状态,如果是off状态则是不可用showglobalvariableslike'local_infile';......
  • mysql数据库物理及逻辑备份
    一、理论知识1.1:物理备份备份数据库操作系统的物理文件(数据文件、日志文件等):冷备份(脱机备份):关闭数据库进行热备份(联机备份):数据库正运行,依赖数据库的日志文件温备份:数据库锁定表格(可读不可写)后进行常见方法:物理冷备:拷贝数据库文件打包备份,需进行锁表-备份-解表。恢复时拷......
  • MySQL大表设计怎么做?
    MySQL是一种常用的关系型数据库管理系统,它在处理大表时需要特别注意设计和优化。下面将详细介绍MySQL大表的设计原则和优化策略。1.数据库设计数据库范式化:将数据按照规范的关系模型进行拆分和组织,避免数据冗余和更新异常。合理选择主键:选择适合业务需求的主键类型,并确保主键......
  • 虚拟机linux系统配置安装redis(每日总结11.23)
    1.进入到root模式下cd/export/server/2.下载wgethttp://download.redis.io/releases/redis-5.0.7.tar.gz3.解压tar-zvxfredis-5.0.7.tar.gz4.把文件移动到redis文件夹里mvredis-5.0.7/export/server/redis5.进入redis文件夹里cdredis6.编译m......
  • Redis深入理解-Socket连接建立流程以及文件事件处理机制
    RedisServer运行原理图Redis服务器中Socket网络建立以及文件事件模型一个redis单机,可以抗几百上千的并发,这里的并发指的就是同时可以有几百个client对这个redisserver发起请求,都需要去建立网络连接,同时间可能会有几百个redisclient通过socket和我们的redisserve......
  • MySQL_基础
    MySQL架构Server层:建立连接、分析和执行SQL存储引擎层:数据的存储和提取。不同的存储引擎共用一个Server层。1a.连接器:与客户端三次握手建立TCP连接->-u-p错误,报错->正确,读取用户的权限,后面的权限逻辑判断基于此时读取到的权限。1b.查询缓存:MySQL8.0后将缓存......
  • 【转载】Laravel10.x Session 储存到 Redis
    参考https://learnku.com/docs/laravel/10.x/session/14855#configurationhttps://blog.csdn.net/wen_3370/article/details/88072364注意经过测试Cache的内容默认存储到DB1经过测试Session配置为储存到Redis则默认存储到DB0环境软件/系统版本说明wi......
  • Redis进一步学习
    Redis         AOF(Append-OnlyFile)和RDB(RedisDataBase)是Redis数据库持久化的两种主要方式,它们都用于在Redis服务器重启时保留数据。AOF(Append-OnlyFile):想象一下AOF就像是数据库的操作日志,记录了所有对Redis数据的写操作。每当有一个写操作发生时,比......