首页 > 数据库 >你能谈谈数据库实现缓存最终一致性的一些方法吗?

你能谈谈数据库实现缓存最终一致性的一些方法吗?

时间:2023-03-20 22:33:28浏览次数:53  
标签:方案 缓存 数据库 redis 更新 mysql 一致性 延迟

为什么需要缓存

存储如mysql通常支持完整的ACID特性,因为可靠性,持久性等因素,性能普遍不高,高并发的查询会给mysql带来压力,造成数据库系统的不稳定。同时也容易产生延迟。根据局部性原理,80%请求会落到20%的热点数据上,在读多写少场景,增加一层缓存非常有助提升系统吞吐量和健壮性。

存储的数据随着时间可能会发生变化,而缓存中的数据就会不一致。具体能容忍的不一致时间,需要具体业务具体分析,但是通常的业务,都需要做到最终一致。

redis作为mysql缓存

通常的开发模式中,都会使用mysql作为存储,而redis作为缓存,加速和保护mysql。但是,当mysql数据更新之后,redis怎么保持同步呢。

强一致性同步成本太高,如果追求强一致,那么没必要用缓存了,直接用mysql即可。通常考虑的,都是最终一致性。

方案一

设置key的过期时间,mysql更新时,redis不更新。这种方式实现简单,但不一致的时间会很长。如果读请求非常频繁,且过期时间比较长,则会产生很多长期的脏数据。

优点:

  • 开发成本低,易于实现;
  • 管理成本低,出问题的概率会比较小。

不足:

  • 完全依赖过期时间,时间太短容易缓存频繁失效,太长容易有长时间更新延迟(不一致)

方案二

在方案一的基础上扩展,通过key的过期时间兜底,并且,在更新mysql时,同时更新redis。

优点:

  • 相对方案一,更新延迟更小。

不足:

  • 如果更新mysql成功,更新redis却失败,就退化到了方案一;
  • 在高并发场景,业务server需要和mysql、redis同时进行连接。这样是损耗双倍的连接资源,容易造成连接数过多的问题。

方案三

针对方案二的同步写redis进行优化,增加消息队列,将redis更新操作交给kafka,由消息队列保证可靠性,再搭建一个消费服务,来异步更新redis。

优点:

  • 使用消息队列,实现了逻辑上的解耦;
  • 消息队列本身具有可靠性,通过手动提交等手段,可以至少一次消费到redis。

不足:

  • 依旧解决不了时序性问题,如果多台业务服务器分别处理针对同一行数据的两条请求,举个例子,a = 1;a = 5;,如果mysql中是第一条先执行,而进入kafka的顺序是第二条先执行,那么数据就会产生不一致。
  • 引入了消息队列,同时要增加服务消费消息,成本较高。

方案四

通过订阅binlog来更新redis,把我们搭建的消费服务,作为mysql的一个slave,订阅binlog,解析出更新内容,再更新到redis。

优点

  • 在mysql压力不大情况下,延迟较低;
  • 和业务完全解耦;
  • 解决了时序性问题。

缺点

  • 要单独搭建一个同步服务,并且引入binlog同步机制,成本较大。

方案选型

  • 首先确认产品上对延迟性的要求,如果要求极高,且数据有可能变化,别用缓存。
  • 通常来说,方案1就够了,很多团队基本都是用方案1,因为能用缓存方案,通常是读多写少场景,同时业务上对延迟具有一定的包容性。方案1没有开发成本,其实比较实用。
  • 如果想增加更新时的即时性,就选择方案2,不过没必要做重试保证之类的。
  • 方案3,方案4针对于对延时要求比较高业务,一个是推模式,一个是拉模式,而方案4具备更强的可靠性,既然都愿意花功夫做处理消息的逻辑,不如一步到位,用方案4。

 

参考:

 

标签:方案,缓存,数据库,redis,更新,mysql,一致性,延迟
From: https://www.cnblogs.com/xfeiyun/p/17238210.html

相关文章

  • 【Azure Redis 缓存】Redission客户端连接Azure:客户端出现 Unable to send PING comma
    问题描述Redission客户端连接Azure:客户端出现UnabletosendPINGcommandoverchannel...... io.netty.channel.StacklessClosedChannelException:null atio.nett......
  • Thinkphp开发时关闭缓存的方法
    因在开发中需要经常修改,从而要经常删除缓存,才能看到效果。所以为了开发的方便,可以把缓存给去除。1.找到\ThinkPHP\Common\convention.php和\ThinkPH......
  • spring context.xmL配置数据库事务以及aop
    [color=red][b]xml配置方式[/b][/color]!--fromthefilecontext.xml--><?xmlversion="1.0"encoding="UTF-8"?><beansxmlns="http://www.spri......
  • Oracle 数据库迁移,升级,打补丁必看的博客
    Oracle数据库迁移,升级,打补丁必看博客之前曾经多次看过这个大神的博客,当时没有太留意。今天查官方文档时,看着推荐的博客名字怎么这么熟悉,仔细看才发现他就是官方升级指引里......
  • 数据库运维---数据库备份策略
    数据库安装方式:通用二进制安装策略1:直接拷贝数据库文件步骤1:主服务器上停用数据库[root@node01~]#systemctlstopmysqld.service步骤2:进入数据目录,打包并压缩数据......
  • MySQL数据库的安装(保姆教学)
    MySQL数据库的安装(如果安装失败请看链接https://www.cnblogs.com/seeyouone/p/17236660.html)注意:必须用系统管理员身份运行mysql安装程序。安装目录切记不要用中文。......
  • MySQL数据库的卸载(保姆教学)
     步骤一:软件的卸载准备学习网络编程时,TCP/IP协议程序有服务器端和客户端。mysql这个数据库管理软件是使用TCP/IP协议。我们现在要卸载的是mysql的服务器端,它没有界面。......
  • apache 缓存和缓存配置
    爬虫禁止(写到项目里面的.htaccess)SetEnvIfNoCase^User-Agent$.*(YisouSpider|360Spider|QiaoFang|Baiduspider|Baiduspider-render|YisouSpider|Bytespider|360Spider|s......
  • AntDB-M数据库锁分析,不要错过!
    AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持......
  • 数据库DB -语法 -数据库操作02
      查询数据库下面有多少个数据库showdatabases;        ......