首页 > 数据库 >MySQL 与 Redis 如何实现最终一致性的四种方案

MySQL 与 Redis 如何实现最终一致性的四种方案

时间:2024-03-24 16:56:07浏览次数:17  
标签:方案 缓存 队列 Redis MySQL redis 更新 mysql 一致性

背景

缓存是软件开发中一个非常有用的概念,数据库缓存更是在项目中必然会遇到的场景。而缓存一致性的保证,针对不同的要求,选择恰到好处的一致性方案。

缓存是什么

存储的速度是有区别的。缓存就是把低速存储的结果,临时保存在高速存储的技术。

如图所示,金字塔上层的存储,可以作为下层存储的缓存。

为什么需要缓存

存储如mysql通常支持完整的ACID特性,因为可靠性,持久性等因素,性能普遍不高,高并发的查询会给mysql带来压力,造成数据库系统的不稳定。同时也容易产生延迟。根据局部性原理,80%请求会落到20%的热点数据上,在读多写少场景,增加一层缓存非常有助提升系统吞吐量和健壮性。

存在问题

存储的数据随着时间可能会发生变化,而缓存中的数据就会不一致。具体能容忍的不一致时间,需要具体业务具体分析,但是通常的业务,都需要做到最终一致。

redis作为mysql缓存

通常的开发模式中,都会使用mysql作为存储,而redis作为缓存,加速和保护mysql。但是,当mysql数据更新之后,redis怎么保持同步呢。

强一致性同步成本太高,如果追求强一致,那么没必要用缓存了,直接用mysql即可。通常考虑的,都是最终一致性。

方案1

通过key的过期时间,mysql更新时,redis不更新。这种方式实现简单,但不一致的时间会很长。如果读请求非常频繁,且过期时间比较长,则会产生很多长期的脏数据。

优点:

开发成本低,易于实现;

管理成本低,出问题的概率会比较小。

不足

完全依赖过期时间,时间太短容易缓存频繁失效,太长容易有长时间更新延迟(不一致)

方案2

在方案一的基础上扩展,通过key的过期时间兜底,并且,在更新mysql时,同时更新redis。

优点

  • 相对方案一,更新延迟更小。

不足

  • 如果更新mysql成功,更新redis却失败,就退化到了方案一;

  • 在高并发场景,业务server需要和mysql,redis同时进行连接,这样是损耗双倍的连接资源,容易造成连接数过多的问题。

方案3

针对方案二的同步写redis进行优化,增加消息队列,将redis更新操作交给kafka,由消息队列保证可靠性,再搭建一个消费服务,来异步更新redis。

优点

  • 消息队列可以用一个句柄,很多消息队列客户端还支持本地缓存发送,有效解决了方案二连接数过多的问题;

  • 使用消息队列,实现了逻辑上的解耦;

  • 消息队列本身具有可靠性,通过手动提交等手段,可以至少一次消费到redis。

不足

  • 依旧解决不了时序性问题,如果多台业务服务器分别处理针对同一行数据的两条请求,举个栗子,a = 1;

    a = 5;,如果mysql中是第一条先执行,而进入kafka的顺序是第二条先执行,那么数据就会产生不一致。

  • 引入了消息队列,同时要增加服务消费消息,成本较高。

方案4

通过订阅binlog来更新redis,把我们搭建的消费服务,作为mysql的一个slave,订阅binlog,解析出更新内容,再更新到redis。

优点

  • 在mysql压力不大情况下,延迟较低;

  • 和业务完全解耦;

  • 解决了时序性问题。

缺点

  • 要单独搭建一个同步服务,并且引入binlog同步机制,成本较大。

方案选型

1)首先确认产品上对延迟性的要求,如果要求极高,且数据有可能变化,别用缓存。

通常来说,方案1就够了,基本都是用方案1,因为能用缓存方案,通常是读多写少场景,同时业务上对延迟具有一定的包容性。

方案1没有开发成本,其实比较实用。

2)如果想增加更新时的即时性,就选择方案2,不过没必要做重试保证。

3)方案3,方案4针对于对延时要求比较高业务,一个是推模式,一个是拉模式,而方案4具备更强的可靠性,既然都愿意花功夫做处理消息的逻辑,不如一步到位,用方案4。

总结

一般情况,方案1够用。若延时要求高,直接选择方案4。

标签:方案,缓存,队列,Redis,MySQL,redis,更新,mysql,一致性
From: https://www.cnblogs.com/beatle-go/p/18092636

相关文章

  • DMA cache一致性
    本节内容参考《宋宝华:Linux设备驱动开发详解》 cache和DMA本身似乎是两个毫无关联的事物。cache被用作CPU针对内存的缓存,利用程序的空间局部性和时间局部性原理,达到较高的命中率,从而避免CPU每次都必须要与相对慢速的内存交互数据来提高数据的访问速率。DMA可以作为内存与外设之......
  • 一文彻底搞懂MySQL索引
    文章目录1.索引的优缺点2.创建索引准则3.索引的分类4.索引实现5.操作索引1.索引的优缺点MySQL索引是一种数据结构,用于提高数据库查询效率。它可以快速定位到表中符合特定条件的数据行,从而加快查询速度。索引通常是根据表中的一个或多个字段创建的,它们存储了对......
  • etcd 以及 redis分布式锁的实现优劣比较
    etcd以及redis分布式锁的实现优劣比较背景介绍在学习etcd时,对于使用etcd实现分布式锁(使用etcd来实现一个简单的分布式锁)做了一个简单的示例,同时也能想到和Redis实现的分布式锁相比,基于etcd来做有什么好处呢?技术要点底层技术比较我们必须要明白一件事情,两者的底......
  • MySQL面试基础题
    MySQL面试基础题一、基础知识1.数据库常见的概念DB:数据库,存储数据的容器。DBMS:数据库管理系统,又称为数据库软件或数据库产品,用于创建或管理DB。SQL:结构化查询语言,用于和数据库通信的语言,不是某个数据库软件持有的,而是几乎所有的主流数据库软件通用的语言。中国人之间交流需要......
  • MySQL连接数太多解决方案
    MySQL数据库默认连接为100对于多人开发的单体项目来说,虽然我们同时在用的连接不会超过10个,理论上100绰绰有余,但是除了我们正在使用的连接以外,还有很大一部分Sleep的连接,这个才是真正的罪魁祸首。修改MySQL最大连接数量,首先查看当前Mysql最大连接数量是多少:showvariables......
  • Redis 哨兵是什么?哨兵配置详解
    Redis的主从复制模式下,一旦主节点由于故障不能提供服务,需要人工将从节点晋升为主节点,同时还要通知应用方更新主节点地址,Redis从2.8开始正式提供了RedisSentinel(哨兵)架构来解决这个问题。RedisSentinel是一个分布式架构,其中包含若干个Sentinel节点和Redis数据节点,......
  • 智能停车场管理系统设计与实现|jsp+ Mysql+Java+ B/S结构(可运行源码+数据库+设计文档
    本项目包含可运行源码+数据库+LW,文末可获取本项目的所有资料。推荐阅读100套最新项目最新ssm+java项目文档+视频演示+可运行源码分享最新jsp+java项目文档+视频演示+可运行源码分享最新SpringBoot项目文档+视频演示+可运行源码分享2024年56套包含java,ssm,springboot的平台......
  • 医院预约挂号系统设计与实现|jsp+ Mysql+Java+ Tomcat(可运行源码+数据库+设计文档)
    本项目包含可运行源码+数据库+LW,文末可获取本项目的所有资料。推荐阅读100套最新项目最新ssm+java项目文档+视频演示+可运行源码分享最新jsp+java项目文档+视频演示+可运行源码分享最新SpringBoot项目文档+视频演示+可运行源码分享2024年56套包含java,ssm,springboot的平台......
  • Redis中AOF文件重写与同步
    AOF文件的写入与同步Redis服务器进程就是一个时间循环(loop),这个循环中的文件时间负责接收客户端的命令请求,以及向客户端发送命令回复,而时间事件则负责执行像serverCron函数这样需要定时运行的函数。因为服务器在处理文件事件时可能会执行些命令,使得一些内容被追加到aof_b......
  • 智能停车场管理系统设计与实现|jsp+ Mysql+Java+ B/S结构(可运行源码+数据库+设计文档
    本项目包含可运行源码+数据库+LW,文末可获取本项目的所有资料。推荐阅读100套最新项目最新ssm+java项目文档+视频演示+可运行源码分享最新jsp+java项目文档+视频演示+可运行源码分享最新SpringBoot项目文档+视频演示+可运行源码分享2024年56套包含java,ssm,springboot的平台......