首页 > 数据库 >一步步优化Redis实现分布式锁

一步步优化Redis实现分布式锁

时间:2024-10-16 22:16:59浏览次数:9  
标签:释放 加锁 过期 一步步 Redis 共享资源 分布式 客户端

分布式锁概念

在多线程的程序里,为了避免同时操作一个共享变量产生数据问题,会加一个互斥锁,以确保共享变量的正确性,使用范围是同一个进程

那如果是多个进程,需要同时操作一个共享资源,如何互斥呢?

比如,现在的业务基本上都是微服务架构,一个应用会部署多个进程,这多个进程需要修改MySQL的同一行记录时,就需要引入分布式锁来解决这个问题了。

要实现分布式锁,需要借助一个外部系统,所有的进程都去这个系统上申请加锁,而这个外部系统必须要实现互斥的能力,换言之,如果有两个请求同时进来,也只会给一个进程返回成功,另一个返回失败或等待。

这个外部系统可以是MySQL、Redis或Zookeeper,一般使用Redis或ZK

如何实现

可以使用SETNX命令,表示SET IF NOT EXISTS,也就是当Key不存在的时候才会设置他的值。

比如,客户端1申请加锁,加锁成功;

127.0.0.1:6379> SETNX lock 1
(integer) 1

客户端2申请加锁,因为到达的比客户端1晚,加锁失败。

127.0.0.2:6379> SETNX lock 1
(integer) 0

此时,加锁成功的客户端,就可以去操作共享资源,例如,修改MySQL的某一行数据,或是调用一个API请求。

操作完成后,还要释放锁,这样后续的客户端才能继续操作共享资源。

释放锁可以通过DEL 命令删除这个key

以上是分布式锁最简单的实现,存在一个很大的问题,如果客户端1拿到锁以后,没有释放锁,就会造成死锁。没有释放锁的原因有以下几个:

  1. 程序处理业务逻辑异常,没有及时释放锁

  2. 整个进程挂了/宕机,没有办法去释放锁

如何避免死锁

那么如何解决上述的问题呢?比较容易想到的方案是:申请锁的时候,给锁设置一个租期

对于刚刚的Redis实现,就是给这个Key设置一个过期时间

比如

127.0.0.1:6379> SETNX lock 1 // 加锁
(integer) 1
127.0.0.1:6379> EXPIRE lock 10 // 10s后自动过期
(integer) 1

这样如果客户端异常的话,这个锁在10秒后会被自动释放,其他客户端依旧可以拿到锁

这样还是有问题,刚刚的操作里,加锁、设置过期时间这是2条命令,有可能执行完第一条,第二条来不及执行,比如:

  • 执行第二条语句时因为网络问题,执行失败

  • Redis异常宕机,第二条没时间执行

  • 客户端异常崩溃/退出,第二条命令没机会执行

如果这两条命令不能保证原子操作,就有潜在的风险导致过期时间设置失败,依旧会发生死锁。

Redis 2.6.12以后,只需要使用 SET lock 1 EX 10 NX就可以了

接下来分析下还有没有别的问题?

假设这样一种场景:

  1. 客户端1加锁成功,开始操作共享资源

  2. 客户端1操作共享资源的时间,超过了锁的过期时间,锁被自动释放

  3. 客户端2加锁成功,开始操作共享资源

  4. 客户端1操作共享资源完成,释放锁(注意这里的锁是客户端2刚刚加的锁

这里有两个很严重的问题:

  • 锁过期:客户端1操作共享资源耗时太久,导致锁被自动释放,之后客户端2加锁

  • 释放别人的锁:客户端1操作共享资源后,释放了客户端2的锁

第一个问题,可能是我们评估共享资源的时间不准确导致的。

简单的解决方案就是增大冗余时间,比如10秒过期,但是操作共享资源的时间最慢是15秒,那我就设置过期时间为20秒。但是这样没法根本解决问题,预估的时间只是大致计算,并不能预估到所有增加耗时的场景,比如程序内部发生异常、网络请求超时、异常耗时增加等。

第二个问题,一个客户端释放了其他客户端持有的锁

导致这个问题的原因是 每个客户端在释放锁的时候,没有检查这个锁是不是自己加上的

如何解决锁被别人释放的问题

客户端在加锁的时候,设置一个只有自己知道的唯一标识进去,可以是自己的主机名字、线程ID等,也可以是一个UUID

127.0.0.1:6379> SET lock $uuid EX 20 NX
OK

之后释放锁的时候,需要检查以下

if redis.get(“lock”) == $uuid:
    redis.del(“lock”)

这里又是一个原子操作,可以写成lua脚本,让Redis来执行

if redis.call("GET",KEYS[1]) == ARGV[1]
then
    return redis.call("DEL",KEYS[1])
else
    return 0
end

这样,整个加锁和解锁的过程就比较严谨了,大概流程如下:

  1. 加锁:SET lock $uuid EX 10 NX

  2. 操作共享资源

  3. 释放锁:lua脚本

不好评估锁过期时间怎么办

前面还有一个遗留问题就是,锁会有提前过期的风险

简单的方案就是尽量冗余过期时间,降低锁提前过期的概率。但是这个方案并不能完美解决问题。

比较主流的方案是,加锁的时候,先设置一个过期时间,同时开启一个守护线程,定时去检测这个锁的失效时间,如果锁快过期了,但是操作共享资源还未完成,自动对锁进行续期,重新设置过期时间。

JavaRedisson库已经把这部分封装好了,看门狗线程

分布式场景

之前分析的场景都是,锁在单个Redis实例中可能会产生的问题,并没有考虑Redis的部署架构细节

但实际上在使用Redis的时候,都是采用主从集群+哨兵的模式部署,当主库异常宕机的时候,哨兵可以进行故障自动切换,把从库提升为主库,继续提供服务,来保证可用性。

假设这样一个场景:

  • 客户端1在主库上加锁成功

  • 主库宕机,SET命令还未同步到从库上(这里是因为主从同步是异步的

  • 哨兵把从库提升为主库,这个锁在新的主库上就丢失了

当引入Redis副本后,分布式锁还是可能受影响,为此,Redis的作者提出一种解决方案,就是Redlock 红锁

标签:释放,加锁,过期,一步步,Redis,共享资源,分布式,客户端
From: https://blog.csdn.net/LightOfNight/article/details/142992930

相关文章

  • 什么是分布式锁?Redis的分布式锁又是什么?
    什么是分布式锁?分布式锁是一种用于解决分布式系统中多节点对共享资源并发访问问题的机制。在分布式系统中,多个服务器实例或服务进程可能同时操作某个共享资源(如数据库记录、缓存条目、文件等),导致数据不一致或竞争条件。分布式锁可以确保同一时刻只有一个节点可以访问或修改......
  • 分布式锁-redis实现方案
    分布式锁的定义        分布式锁(DistributedLock)是分布式系统中的一种同步机制,用于控制对共享资源的访问。在分布式环境中,由于多个服务实例或进程可能同时运行在不同的服务器上,传统的单机锁机制(如Java中的synchronized关键字或ReentrantLock)无法跨进程或跨服务器工作......
  • Redis的缓存问题
    缓存雪崩定义:缓存雪崩是指在某个时间段内,缓存中的大量数据同时失效或者大量的请求集中到某一个时间点发生,导致数据库压力骤增,甚至引起服务崩溃的现象。原因:通常是由于缓存中的大量数据同时过期或者大量的请求集中到某一时间点。例如,如果缓存中的大量数据在同一时间点过期,那......
  • Redis 5.0 安装
    注意事项默认文件存放位置可执行文件(如redis、redis-server、redis-sentinel、redis-cli):/usr/local/bin库文件:/usr/local/lib配置文件:/usr/local/etc资源文件:/usr/local/share版本大全https://download.redis.io/releases/?_gl=1*1i0ead3*_gcl_au*MjAxNzQxMDA1Lj......
  • Redis 数据导入导出
    方式一:redis-dump前置安装redis-dumphttps://blog.csdn.net/zhanaolu4821/article/details/103684237数据导出##-uuri##-a密码##-ddatabase##导出所有库/usr/local/bin/redis-dump-u127.0.0.1:63790-a123456>/data/dba/yanhao/test/testredis.json##导......
  • 如何保证Redis和数据库的数据一致性
    文章目录0.前言1.补充知识:CP和AP2.什么情况下会出现Redis与数据库数据不一致3.更新缓存还是删除缓存4.先操作缓存还是先操作数据库4.1先操作缓存4.1.1数据不一致的问题是如何产生的4.1.2解决方法(延迟双删)4.1.3最终一致性和强一致性4.1.4如何确定延迟双删的延迟......
  • Redis未授权-6379
    原理分析Redis默认情况下,会绑定在0.0.0.0:6379,这样将会将Redis服务暴露到公网上如果在没有开启认证的情况下,可以导致任意用户在可以访问目标服务器的情况下未授权访问Redis以及读取Redis的数据。攻击者在未授权访问Redis的情况下可以利用Redis的相关方法,可以成功在......
  • Windows系统部署redis自启动服务
    文章目录引言Iredis以本地服务运行(Windowsservice)使用MSI安装包配置文件,配置端口和密码IIredis服务以终端命令启动缺点运行redis-server并指定端口和密码III知识扩展确认redis-server可用性InstallingtheService引言服务器是Windows系......
  • 阿里面试:如何解决Redis热点Key问题? (按此作答,拿 60W年薪)
    文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》,帮你实现技术自由,完成职业升级,薪......
  • 【推荐 - 源码安装】Redis - 安装
    准备查看操作系统位数[root@lab10~]#getconfLONG_BIT64查看gcc编译环境[root@lab10~]#gcc-vUsingbuilt-inspecs.COLLECT_GCC=gccCOLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-redhat-linux/4.8.5/lto-wrapperTarget:x86_64-redhat-linuxConfiguredwith:......