首页 > 数据库 >分布式锁-Redisson

分布式锁-Redisson

时间:2023-04-22 19:41:53浏览次数:39  
标签:Redisson String lock redis num 分布式



分布式锁

  • 1、分布式锁
  • 1.1 本地锁的局限性
  • 1.1.1 测试代码
  • 1.1.2 使用ab工具测试(单节点)
  • 1.1.3 本地锁问题演示(集群情况)
  • 1.2 分布式锁实现的解决方案
  • 1.3 使用Redis实现分布式锁(了解即可)
  • 1.3.1 编写代码
  • 1.3.2 压测
  • 1.4 使用Redisson解决分布式锁
  • 1.4.1 实现代码
  • 1.4.1 压测
  • 1.4.2 可重入锁(Reentrant Lock)
  • 1.4.3 读写锁(ReadWriteLock)


1、分布式锁

这里是在我的一个分布式项目中演示的,我们只关注分布式锁相关的代码即可。

1.1 本地锁的局限性

  我们在Java中学习过了synchronized及lock锁,这些锁都是本地锁,我们通过一个案例演示本地锁的问题。

  我们通过并发操作对一个redis中的值进行自增操作。

1.1.1 测试代码

  在service-product中的TestController中添加测试方法

@RestController
@RequestMapping("/admin/product/test")
public class TestController {

    @Autowired
    private TestService testService;

    @GetMapping("/testLock")
    public Result testLock(){
        testService.testLock();
        return Result.ok();
    }
}

接口:

public interface TestService {
    void testLock();
}

实现类:

/**
 * 本地锁演示
 */
@Override
public synchronized void testLock() {
    //从redis中查询num数据
    String value = stringRedisTemplate.opsForValue().get("num");

    //判断是否为空
    if(StringUtils.isEmpty(value)){

        return;
    }
    //对num数据+1处理
    int num = Integer.parseInt(value);
    //存储到redis
    stringRedisTemplate.opsForValue().set("num",String.valueOf(num+1));
}

先通过redis工具设置num=0

1.1.2 使用ab工具测试(单节点)

  使用ab测试工具:httpd-tools(yum install -y httpd-tools)

  这里我在linux上使用下面这个命令有问题,我把这个工具装在windows上了,当然用Jmeter压测工具也可以的。

  测试如下:5000请求,100并发

abs.exe -n 5000 -c 100 http://localhost:8206/admin/product/test/testLock

  初始为0,执行上述命令之后,

分布式锁-Redisson_微服务

分布式锁-Redisson_微服务_02

  从目前的执行结果来看似乎没有问题,可是这只是单个节点的测试,如果碰到微服务集群结果是怎样的呢?

1.1.3 本地锁问题演示(集群情况)

  这里将service-product服务建立三个节点,端口号分别为8206,8216,8226

分布式锁-Redisson_redis_03

  先将redis中的num置零,然后再次执行压测命令,此时需要修改一下,由于是测试集群,这里我们走网关,让网关去转发

  压测命令如下:我的网关是80端口,所以这里不带端口号就是默认走网关了

abs.exe -n 5000 -c 100 http://localhost/admin/product/test/testLock

分布式锁-Redisson_分布式_04

  查看Redis中的值,此时num并不是5000

分布式锁-Redisson_java_05

  集群情况下又出问题了!!!

  以上测试,可以发现:本地锁只能锁住同一工程内的资源,在分布式系统里面都存在局限性

  此时需要分布式锁

1.2 分布式锁实现的解决方案

  随着业务发展的需要,原单体单机部署的系统被演化成分布式集群系统后,由于分布式系统多线程、多进程并且分布在不同机器上,这将使原单机部署情况下的并发控制锁策略失效,单纯的Java API并不能提供分布式锁的能力。为了解决这个问题就需要一种跨JVM的互斥机制来控制共享资源的访问,这就是分布式锁要解决的问题!

  分布式锁主流的实现方案:

  1. 基于数据库实现分布式锁

  2. 基于缓存(Redis等)

  3. 基于Zookeeper

  每一种分布式锁解决方案都有各自的优缺点:

  1. 性能:redis最高

  2. 可靠性:zookeeper最高

  这里,我们就基于redis实现分布式锁。

1.3 使用Redis实现分布式锁(了解即可)

1.3.1 编写代码

@Override
    public void testLock() {

        //0、生成UUID
        String uuid = UUID.randomUUID().toString().replaceAll("-", "");

        //1、从redis中获取锁,setnx
//        Boolean lock = stringRedisTemplate.opsForValue().setIfAbsent("lock", "111");
        Boolean lock = stringRedisTemplate.opsForValue().setIfAbsent("lock", uuid,7,TimeUnit.SECONDS);
        //设置超时时间
//        stringRedisTemplate.expire("lock",7, TimeUnit.SECONDS);
        if(lock){
            //从redis中查询num数据
            String value = stringRedisTemplate.opsForValue().get("num");

            //判断是否为空
            if(StringUtils.isEmpty(value)){

                return;
            }
            //对num数据+1处理
            int num = Integer.parseInt(value);
            //存储到redis
            stringRedisTemplate.opsForValue().set("num",String.valueOf(num+1));

            //定义lua脚本
            String script="if redis.call(\"get\",KEYS[1]) == ARGV[1]\n" +
                    "then\n" +
                    "    return redis.call(\"del\",KEYS[1])\n" +
                    "else\n" +
                    "    return 0\n" +
                    "end";
            //创建脚本对象
            DefaultRedisScript<Long> defaultRedisScript=new DefaultRedisScript<>();
            //设置脚本
            defaultRedisScript.setScriptText(script);
            //设置返回值类型
            defaultRedisScript.setResultType(Long.class);

            //执行删除
            stringRedisTemplate.execute(defaultRedisScript, Arrays.asList("lock"),uuid);
            //获取当前锁的value
            //判断
//            if(uuid.equals(stringRedisTemplate.opsForValue().get("lock"))){
//                //释放锁
//                stringRedisTemplate.delete("lock");
//            }
        }else{
            //睡眠100
            try {
                Thread.sleep(100);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            //重试调用
            testLock();
        }
    }

这里我们做了如下优化:

1、设置锁的过期时间

2、设置UUID防误删

3、使用LUA脚本保证删除的原子性。

由于这个方式也是有问题的,我们只是演示一下

1.3.2 压测

  先将num设置为0,然后执行压测命令

abs.exe -n 5000 -c 100 http://localhost/admin/product/test/testLock

分布式锁-Redisson_Redisson_06

  看起来好像成功了,但是这个只是redis单节点的情况。

  redis集群状态下的问题:

  1. 客户端A从master获取到锁

  2. 在master将锁同步到slave之前,master宕掉了。

  3. slave节点被晋级为master节点

  4. 客户端B取得了同一个资源被客户端A已经获取到的另外一个锁。

  安全失效!

  解决方案:了解即可!

1.4 使用Redisson解决分布式锁

  Github 地址:https://github.com/redisson/redisson

  Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。其中包括(BitSet, Set, Multimap, SortedSet, Map, List, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, AtomicLong, CountDownLatch, Publish / Subscribe, Bloom filter, Remote service, Spring cache, Executor service, Live Object service, Scheduler service) Redisson提供了使用Redis的最简单和最便捷的方法。Redisson的宗旨是促进使用者对Redis的关注分离(Separation of Concern),从而让使用者能够将精力更集中地放在处理业务逻辑上。

分布式锁-Redisson_redis_07

  官方文档地址:https://github.com/redisson/redisson/wiki

1.4.1 实现代码

导入依赖

<!-- redisson -->
<dependency>
   <groupId>org.redisson</groupId>
   <artifactId>redisson</artifactId>
   <version>3.15.3</version>
</dependency>

1、配置Redisson

/**
 * redisson配置信息
 */
@Data
@Configuration
@ConfigurationProperties("spring.redis")
public class RedissonConfig {

    private String host;

    private String addresses;

    private String password;

    private String port;

    private int timeout = 3000;
    private int connectionPoolSize = 64;
    private int connectionMinimumIdleSize=10;
    private int pingConnectionInterval = 60000;
    private static String ADDRESS_PREFIX = "redis://";

    /**
     * 自动装配
     *
     */
    @Bean
    RedissonClient redissonSingle() {
        Config config = new Config();
        if(StringUtils.isEmpty(host)){
            throw new RuntimeException("host is  empty");
        }
        SingleServerConfig serverConfig = config.useSingleServer()
                //redis://127.0.0.1:7181
                .setAddress(ADDRESS_PREFIX + this.host + ":" + port)
                .setTimeout(this.timeout)
                .setPingConnectionInterval(pingConnectionInterval)
                .setConnectionPoolSize(this.connectionPoolSize)
                .setConnectionMinimumIdleSize(this.connectionMinimumIdleSize)
                ;
        if(!StringUtils.isEmpty(this.password)) {
            serverConfig.setPassword(this.password);
        }
        // RedissonClient redisson = Redisson.create(config);
        return Redisson.create(config);
    }
}

2、修改实现类

/**
     * Redisson使用步骤:
     * 1、将RedissonClient对象注入到使用的类中
     * 2、获取锁
     *      Lock lock=redisionClient.getLock();
     *      lock.lock();
     * 3、释放锁
     *      lock.unlock();
     * 注意:在使用Redisson时,可以不用自己实现
     */
    @Override
    public  void testLock() {

            //模拟sku查询
            //定义key sku:1314:info
            String lockSku="sku:"+1314+":info";
            //获取锁
            RLock lock = redissonClient.getLock(lockSku);
            //加锁
//        lock.lock();
            //加锁时,设置超时时间
//        lock.lock(7,TimeUnit.SECONDS);
            //加锁时,设置超时时间和等待时间
        try {
            boolean flag = lock.tryLock(100, 10, TimeUnit.SECONDS);
            //判断
            if (flag) {
                //从redis中查询num数据
                String value = stringRedisTemplate.opsForValue().get("num");

                //判断是否为空
                if(StringUtils.isEmpty(value)){
                    return;
                }
                //对num数据+1处理
                int num = Integer.parseInt(value);
                //存储到redis
                stringRedisTemplate.opsForValue().set("num",String.valueOf(num+1));
            }else{
                Thread.sleep(50);
                testLock();
            }
        } catch (InterruptedException e) {
            e.printStackTrace();
        }finally {
            //释放锁
            lock.unlock();
        }
    }

  锁的获取方式有很多种,这里我在注释中也写了常用的,只是演示一下效果

1.4.1 压测

abs.exe -n 5000 -c 100 http://localhost/admin/product/test/testLock

分布式锁-Redisson_分布式_08

查看redis中的值

分布式锁-Redisson_微服务_09

此时测试是没有问题的。

1.4.2 可重入锁(Reentrant Lock)

  基于Redis的Redisson分布式可重入锁RLock Java对象实现了java.util.concurrent.locks.Lock接口。

  大家都知道,如果负责储存这个分布式锁的Redisson节点宕机以后,而且这个锁正好处于锁住的状态时,这个锁会出现锁死的状态。为了避免这种情况的发生,Redisson内部提供了一个监控锁的看门狗,它的作用是在Redisson实例被关闭前,不断的延长锁的有效期。默认情况下,看门狗的检查锁的超时时间是30秒钟,也可以通过修改Config.lockWatchdogTimeout来另行指定。

  另外Redisson还通过加锁的方法提供了leaseTime的参数来指定加锁的时间。超过这个时间后锁便自动解开了。

  快速入门使用的就是可重入锁。也是最常使用的锁。

  最常见的使用:

RLock lock = redisson.getLock("anyLock");
// 最常使用
lock.lock();
// 加锁以后10秒钟自动解锁
// 无需调用unlock方法手动解锁
lock.lock(10, TimeUnit.SECONDS);

// 尝试加锁,最多等待100秒,上锁以后10秒自动解锁
boolean res = lock.tryLock(100, 10, TimeUnit.SECONDS);
if (res) {
   try {
     ...
   } finally {
       lock.unlock();
   }
}

1.4.3 读写锁(ReadWriteLock)

  基于Redis的Redisson分布式可重入读写锁RReadWriteLock Java对象实现了java.util.concurrent.locks.ReadWriteLock接口。其中读锁和写锁都继承了RLock接口。

  分布式可重入读写锁允许同时有多个读锁和一个写锁处于加锁状态。

RReadWriteLock rwlock = redisson.getReadWriteLock("anyRWLock");
// 最常见的使用方法
rwlock.readLock().lock();
// 或
rwlock.writeLock().lock();

// 10秒钟以后自动解锁
// 无需调用unlock方法手动解锁
rwlock.readLock().lock(10, TimeUnit.SECONDS);
// 或
rwlock.writeLock().lock(10, TimeUnit.SECONDS);

// 尝试加锁,最多等待100秒,上锁以后10秒自动解锁
boolean res = rwlock.readLock().tryLock(100, 10, TimeUnit.SECONDS);
// 或
boolean res = rwlock.writeLock().tryLock(100, 10, TimeUnit.SECONDS);
...
lock.unlock();

代码实现

@GetMapping("/read")
public Result read(){
    String msg=testService.readLock();
    return Result.ok(msg);
}
@GetMapping("/write")
public Result write(){
    String msg=testService.writeLock();
    return Result.ok(msg);
}

接口

//读锁测试
    String readLock();

    //写锁测试
    String writeLock();

实现类

//读锁测试
    @Override
    public String readLock() {
        //初始化获取锁
        RReadWriteLock readWriteLock = redissonClient.getReadWriteLock("readWriteLock");
        //获取读锁
        RLock rLock = readWriteLock.readLock();
        //加锁
        rLock.lock(10,TimeUnit.SECONDS);
        //读取数据
        String msg = stringRedisTemplate.opsForValue().get("msg");
        //释放锁
        //rLock.unlock();
        return msg;
    }

    //写锁测试
    @Override
    public String writeLock() {
        //初始化获取锁
        RReadWriteLock readWriteLock = redissonClient.getReadWriteLock("readWriteLock");
        //获取写锁
        RLock rLock = readWriteLock.writeLock();

        //加锁
//        rLock.lock();
        rLock.lock(10,TimeUnit.SECONDS);
//        boolean flag = rLock.tryLock(100, 10, TimeUnit.SECONDS);
        //写入到redis
        stringRedisTemplate.opsForValue().set("msg",String.valueOf(System.currentTimeMillis()));

        //释放锁
        //rLock.unlock();
        return "写入了一条数据到redis";
    }

这里我将读锁和写锁的释放锁的代码注释掉,目的是为了测试。

  打开两个浏览器窗口测试:

  http://localhost:8206/admin/product/test/read

  http://localhost:8206/admin/product/test/write

  • 同时访问写:一个写完之后,等待一会儿(约10s),另一个写开始
  • 同时访问读:不用等待
  • 先写后读:读要等待(约10s)写完成
  • 先读后写:写要等待(约10s)读完成

  分布式锁入门大概写到这里,用确实是跟着文档来,但是要谈理解还差的太远。


标签:Redisson,String,lock,redis,num,分布式
From: https://blog.51cto.com/u_15961549/6215455

相关文章

  • Ffmpeg分布式视频转码问题总结
    本文主要聊一聊云原生时代分布式转码系统实施过程中碰到的一些问题。聊问题之前简单介绍一下我们的分布式转码方案。云原生分布式转码在计算资源招之即来的云计算时代,正在重构着软件架构的方方面面。对软件架构师或者运维管理者影响比较大的一个点便是不需要在做容量规划,不需......
  • Mysql分布式锁的简单实现
    在做多线程操作数据库时避免不了的会遇到线程之间争抢同一条记录的问题,在mysql里可以实现分布式锁解决线程的反复调用问题。具体方法是利用数据库的唯一约束,设置一个比如状态的列来判断此记录是否正在被线程处理,可以默认值为0,表示未被处理,当值变为1时表示正在处理,值为2时......
  • 高性能分布式网络服务器框架
    该项目是使用C/C++开发的一款高性能的后端分布式服务器网络框架。该项目具有如下要点:使用C++11重写并简化muduo网络库;仿写了tcmalloc的高并发内存池;加入了sylar的日志模块并将其改进为异步日志;使用到了protobuf和Zookeeper来作为分布式协调服务;项目地址:https......
  • jmeter分布式压测csv文件配置
    1、在控制机上添加csv数据文件设置2、将文件发送到执行机上的bin/目录下3、然后输入./文件名即可 4、最后远程执行执行机   ......
  • Spring cloud:分布式module
     新增一个业务模块,统一将业务模块放在hc-modeules下在resources资源目录下新增application-properties.yml文件 该文件用来配置注册中心、配置中心信息等..在pom.xml文件添加jar包的依赖以及配置指向的父级<parent> <groupId>com.github.pig</groupId> <artifactId>pig-modu......
  • 【汇智学堂】-Hadoop分布式集群安装验证-3(检查YARN)
    在HadoopMaster上启动Firefox浏览器,输入http://master:18088/,检查YARN是否正常,如下图则为正常。......
  • 【汇智学堂】-Hadoop分布式集群安装验证-2(WEB UI查看)
    在HadoopMaster上启动Firefox浏览器,输入http://master:50070/,检查NameNode和DataNode是否正常,如下图则为正常。......
  • Python无框架分布式爬虫,爬取范例:拼多多商品详情数据,拼多多商品列表数据
    拼多多是中国领先的社交电商平台之一,是一家以“团购+折扣”为主要运营模式的电商平台。该平台上有海量的商品,对于商家和消费者来说都具有非常大的价值,因此,拼多多商品数据的采集技术非常重要。本文将介绍拼多多商品数据的采集技术。一、拼多多商品的数据结构拼多多的商品数据包含了......
  • 08 04 jmeter 性能测试案例 分布式压力测试
       打开虚拟机打开所在位置返回上一目录复制两个虚拟机查看虚拟机ip关闭防火墙 启动主要虚拟机的tomcat 另外两个虚拟机如果  将进程删除再进找到 #号去掉false改为true #去掉数字改为好记的端口之后两个虚拟机都要打开jmeter须在bin目录......
  • C#中的分布式ID生成组件IDGen介绍并给出示例代码
    C#中的IDGen是一个C#实现的TwitterSnowflake算法的ID生成器,可以生成全局唯一的ID,支持高并发场景下的ID生成。在本篇文章中,我们将介绍IDGen的使用方法并提供相关的C#示例代码。IDGen的介绍IDGen是一款开源的分布式唯一ID生成器,支持多种ID生成算法,并且可以在高并发场景下快速生成......