首页 > 其他分享 >由浅入深详解四种分布式锁

由浅入深详解四种分布式锁

时间:2023-04-19 09:34:27浏览次数:49  
标签:由浅入深 Redis 获取 详解 线程 超时 节点 分布式

在多线程环境下,为了保证数据的线程安全,锁保证同一时刻,只有一个可以访问和更新共享数据。在单机系统我们可以使用synchronized锁或者Lock锁保证线程安全。synchronized锁是Java提供的一种内置锁,在单个JVM进程中提供线程之间的锁定机制,控制多线程并发。只适用于单机环境下的并发控制:

但是如果想要锁定多个节点服务,synchronized就不适用于了:

想要在多个节点中提供锁定,在分布式系统并发控制共享资源,确保同一时刻只有一个访问可以调用,避免多个调用者竞争调用和数据不一致问题,保证数据的一致性

分布式锁就是控制分布式系统不同进程访问共享资源的一种锁的机制。不同进程之间调用需要保持互斥性,任意时刻,只有一个客户端能持有锁。

从单体锁到分布式锁,只不过是将锁的对象从一个进程的多个线程,转成多个进程。

共享资源包含:

  • 数据库
  • 文件硬盘
  • 共享内存

实现思路

分布式锁的加锁和解锁是使用不同的数值来表示不同的状态,比如0表示空闲状态。

  • 加锁

    • 加锁时,判断锁是否空闲,如果空闲,修改状态为1表示已加锁,返回成功。
    • 如果不为空闲状态0,则返回失败,表示没有获取到锁。
  • 解锁

    • 将锁状态修改为空闲状态0

以上的加锁和解锁操作,都要保证是一个原子操作

分布式锁特性

1. 互斥性

分布式锁最基本的特性,同一时刻只能一个节点服务拥有该锁,当有节点获取锁之后,其他节点无法获取锁,不同节点之间具有互斥性。

2. 超时机制

不考虑异常,正常情况下,请求获取锁之后,处理任务,处理完成之后释放锁。但是如果在处理任务发生服务异常,或者网络异常时,导致锁无法释放。其他请求都无法获取锁,变成死锁。

为了防止锁变成死锁,需要设置锁的超时时间。过了超时时间后,锁自动释放,其他请求能正常获取锁。

3. 自动续期

锁设置了超时机制后,如果持有锁的节点处理任务的时候过长超过了超时时间,就会发生线程未处理完任务锁就被释放了,其他线程就能获取到该锁,导致多个节点同时访问共享资源。对此,就需要延长超时时间。

开启一个监听线程,定时监听任务,监听任务线程还存活就延长超时时间。当任务完成、或者任务发生异常就不继续延长超时时间。

分布式实现

分布式主要有三种实现:

  • 数据库
  • Zookeeper
  • Redis

通过模拟客户下单操作。

  • 先判断库存是否充足
    • 如果充足,先扣库存,再新增订单。
    • 如果不足就提示库存不够。

先创建订单表和商品库存表:

--库存表-- 
create table t_product(
    `id` bigint(20) not null auto_increment,
    `name` varchar(64) not null comment "商品名",
    `store` int default 0 comment "库存",
    primary key(`id`)
)

insert into `t_product` values (1, '红米手机', 100);

-- 订单表 --
create table t_order(
  `id` bigint(20) not null auto_increment,
  `sn` varchar(64) not null comment '订单号',
  `num` int default null comment '数量',
  `price` int default null comment '单价',
  `product_id` bigint default null comment '商品id',
  `create_time` timestamp not null default CURRENT_TIMESTAMP comment '创建时间',
  primary key(`id`)
)

为了查询时防止幻读,我们还需要保证查询和插入是在同一个事务中。下单先判断是否有库存,有库存就减库存1,再新增订单。主要代码如下:

@Transactional
public void addOrder(Order order) throws Exception {
    Product product = productDao.selectById(order.getProductId());
    int store = product.getStore() - 1;
    if (store >= 0) {
        // 扣库存   
        product.setStore(store);
        productDao.updateByPrimaryKey(product);
        // 添加订单
        orderDao.insert(order);
    } else {
        throw new Exception("哎呦喂,库存不足");
    }
}

其中查询库存方法productDao.selectByIdSQL语句是:

select id,name,store from t_product where id = xxx

使用压测工具apache ab开启多个线程,请求50次:

ab -n 10 -c 2 http://127.0.0.1:8080/xxxx

压测结果:

库存剩余:72,订单数量:50

**新增了 50 条订单,库存只扣了 28 **。

这是因为在并发环境下,多个线程下单操作,前面的线程还未更新库存,后面的线程已经请求进来,并获取到了未更新的库存,后续扣减库存都不是扣减最近的库存。线程越多,扣减的库存越少。这就是在高并发场景下发生的超卖问题

1. 数据库实现分布式锁

Mysql数据库可以使用select xxx for update来实现分布式锁。

for update是一种行级锁,也叫排它锁。如果一条select语句后面加上for update,其他事务可以读取,但不能进进行更新操作。

将上面查询库存productDao.selectById方法的SQL语句后面加上for update:

select id,name,store from t_product where id = xxx for update

再使用apache ab开启多个线程,请求50次:

ab -n 10 -c 2 http://127.0.0.1:8080/xxxx

压测结果:

库存剩余:50,订单数量:50

数据库成功实现分布式锁

使用for update行级锁可以实现分布式锁,通过行级锁锁住库存,where后条件一定要走索引,不然会触发表锁,会降低MySQL的性能。

不过基于MySQL实现的分布式锁,存在性能瓶颈,在Repeatable read隔离级别下select for update操作是基于间隙锁锁实现,这是一种悲观锁,会存在线程阻塞问题。

当有大量的线程请求的情况下,大部分请求会被阻塞等待,后续的请求只能等前面的请求结束后,才能排队进来处理。

Zookeeper 实现分布式锁

数据库实现分布式锁存在性能瓶颈,无法支撑高并发的请求。可以使用Zookeeper实现分布式锁,Zookeeper提供一种分布式服务协调的中心化服务,而分布式锁的实现是基于Zookeeper的两个特性。

顺序临时节点:

Zookeeper 数据模型znode是以多层节点命名的空间,每个节点都用斜杠/分开的路径来表示,类似文件系统的目录。

节点类型分成持久节点临时节点,每个节点还可以标记有序性。一旦节点被标记为有序性,那整个节点就有自动递增的特点。利用以上的特性,创建一个持久节点作为父节点,在父节点下面创建一个临时节点,并标记该临时节点为有序性

Watch 机制:

Zookeeper 还提供了另一个重要的特性:Watch(事件监听器),在指定节点的上注册监听事件。当事件触发时,会将事件通知给对应的客户。

了解了Zookeeper的两个特性之后,那如何使用这两种特性来实现分布式锁呢?

首先,创建一个持久类型的父节点,当用户请求时,就在父节点创建临时类型的子节点,并标记临时节点为有序性。

建立子节点之后,对父节点下面所有临时节点进行排序,判断刚创建的临时节点是否是最小的节点,如果是最小的节点,就获取锁。如果不最小的节点,则等待锁,并且获取该节点上一个顺序节点,并为其注册监听事件,等待触发事件并获得锁。

当请求完毕后,删除该节点,并触发监听事件,下一个顺序节点获得锁,流程如下所示:

curator将上面实现分布式锁的思路封装好了,直接调用即可。

引入curator依赖:

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>4.3.0</version>
</dependency>

使用InterProcessMutex分布式可重入排它锁,一般流程如下:

InterProcessMutex lock = new InterProcessMutex(client, lockPath);
// 加锁
interProcessMutex.acquire();
// 执行代码xxxxxxx
// 解锁
interProcessMutex.release();

为了避免每次请求都要创建InterProcessMutex实例,创建InterProcessMutexbean:

private String address = "xxxxx";

@Bean
public InterProcessMutex interProcessMutex() {
    CuratorFramework zkClient = getZkClient();
    String lockPath = "/lock";
    InterProcessMutex lock = new InterProcessMutex(zkClient,lockPath);
    return lock;
}

private CuratorFramework getZkClient() {
    ExponentialBackoffRetry retry = new ExponentialBackoffRetry(1000,3,5000);
    CuratorFramework zkClient = CuratorFrameworkFactory.builder()
            .connectString(address)
            .sessionTimeoutMs(5000)
            .connectionTimeoutMs(5000)
            .retryPolicy(retry).build();
    zkClient.start();
    return zkClient;
}

在高并发场景下,多个用户请求系统,并获取临时节点顺序:

使用interProcessMutex获取锁和释放锁:

  • 获取锁 interProcessMutex.acquire()
  • 释放锁 interProcessMutex.release()

请求接口如下:

@RestController
public class Controller {
    @Autowired
    private InterProcessMutex interProcessMutex;
    
    @GetMapping("/sec-kill")
    public String secKill() throws Exception {
        // 获取锁
        interProcessMutex.acquire();
        // 扣减库存,创建订单等操作....
        interProcessMutex.release();
        return "ok";
    }
}

如果获取锁之后,系统发生异常,系统就一直持有锁,后续请求也无法获取锁,导致死锁。需要设置锁超时机制,interProcessMutex.acquire添加超时时间:

interProcessMutex.acquire(watiTime,TimeUnit);

超时时间设置要根据业务执行时间来设定,不能太长,也不能太短。

Zookeeper一些特点

  • Zookeeper实现的分布式锁,相对数据库,性能有很大的提高。
  • Zookeeper配置集群,发生单点故障时、或者系统挂掉时,临时节点会因为 session 连接断开而自动删除。
  • 频繁的创建和删除节点,并且每个节点都有watch事件,对Zookeeper服务来说压力大。相对Redis的性能,还存在差距。

3. Redis 实现分布式锁

Redis 实现分布式锁,是最复杂的,但是也是性能最高的。

  • 加锁SETNX key value 如果键不存在时,对键设值,返回1。如果键存在,不做任何操作,返回0setnx全称是set if not exist
  • 解锁DEL key,通过删除key释放锁,删除键之后,其他线程可以争夺锁。

Redis也需要考虑超时问题,一般都是用SETNX + EXPIRE组合来实现超时设置,伪代码如下:

pubic boolean lock(Jedis jedis,String key,String value,long expireTime) {
     long flag = jedis.setnx(key,value);
     // 成功获取锁
     if(flag) {
         // 如果这里突然崩溃,无法设置过期时间,将发生死锁 
         jedis.expirt(key,expireTime);
         return true;
     }
     return false;
} 

通过setnx方法获取锁,如果key存在,就返回失败。如果不存在,就设值成功,设值成功之后,再通过expirt设置超时时间。

如果在设置超时时间和设置锁之间出现系统崩溃,此时没有给锁设置过期时间,将会出现死锁问题。

Redis 2.6.12版本后SETNX增加了过期时间参数:

pubic boolean lock(Jedis jedis,String key,String value,long expireTime) {
     long flag = jedis.setnx(key,value,expireTime);
     // 成功获取锁
     if(flag) {
         return true;
     }
     return false;
} 

解锁,需要删除键值即可,其他线程就能竞争锁了:

pubic void lock(Jedis jedis,String key) {
    jedis.del(key);
}

一般请求controlle如下:

@RestController
public class Controller {
    @Autowired
    private InterProcessMutex interProcessMutex;
    
    @GetMapping("/sec-kill")
    public String secKill() throws Exception {
        // 获取锁
        lock();
        // 扣减库存,创建订单等操作....
        unLock();
        return "ok";
    }
}

Redis设置了超时时间后,就解决死锁的问题,但也会引发其他问题。

如果设置的超时时间比较短,而业务执行的时间比较长。比如超时时间设置5s,而业务执行需要10s,此时业务还未执行完,其他请求就会获取到锁,两个请求同时请求业务数据,不满足分布式锁的互斥性,无法保证线程的安全,如下流程所示:

超时解锁导致并发:

用户A先获取锁,还未执行完业务代码,此时已经过了超时时间,锁被释放。用户B获取到锁,此时用户A用户B并发执行业务数据,

锁误删除:

用户A执行完业务代码后,执行释放锁操作,而此时用户A已经被超时释放,锁被用户B持有,此时释放锁,就把用户B的锁误删了。

解决方案:

首先要将超时时间设置的长一些,满足业务执行的时间。如果系统对吞吐量要求比较严格,根据具体的业务的执行时间来设置超时时间,超时时间比业务执行时间长一些,超时时间不能设置太长也不能设置太短

针对锁误删除的问题。每个线程在获取锁时,设置一个的线程标识,比如UUID,作为唯一的标识,设置value值,在解锁时,先判断是是否是自己线程的标识,如果不是,就不做删除:

pubic void lock(Jedis jedis,String key,String value) { 
    if (jedis.get(key).equals(value)) {
        jedis.del(key);
    }    
}

除了设置合理超时时间外,可能还有偶尔几个线程执行业务代码,因为网络环境执行时间变长。这时候就需要再加一个线程,定时执行,自动续期锁。

4.Redission 分布式锁

Redis虽然作为分布式锁来说,性能是最好的。但是也是最复杂的,上面总结Redis主要有下面几个问题:

  • 死锁
  • 设置超时后
    • 锁误删
    • 业务还继续执行,导致多个线程并发执行

线上都是用Redission实现分布式锁Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。Redisson是基于netty通信框架实现的,所以支持非阻塞通信,性能优于Jedis

Redisson分布式锁四层保护:

  • 防死锁
  • 防误删
  • 可重入
  • 自动续期

Redisson实现Redis分布式锁,支持单机和集群模式,

引入maven依赖:

<dependency>
      <groupId>org.redisson</groupId>
      <artifactId>redisson</artifactId>
      <version>3.8.2</version>
</dependency>

添加Redission配置:

@Configuration
public class RedissonConfig {

    @Bean
    public RedissonClient redissonClient() {
        Config config = new Config();
        // 单机模式
        config.useSingleServer()
                .setAddress("redis://127.0.0.1:6379")
                .setPassword("xxxx");
        // 集群模式
        /*config.useClusterServers()
        .setScanInterval(2000) // 集群状态扫描间隔时间,单位是毫秒
        //可以用"rediss://"来启用SSL连接
        .addNodeAddress("redis://127.0.0.1:7000", "redis://127.0.0.1:7001")
       .addNodeAddress("redis://127.0.0.1:7002");*/       
        return Redisson.create(config);
    }

}

使用Redission分布式锁,分成三个步骤:

  • 获取锁 redissonClient.getLock("lock")
  • 加锁 rLock.lock()
  • 解锁 rLock.unlock()

请求controlle示例如下:

@RestController
public class Controller {
    @Autowired
    private RedissonClient redissonClient;
    
    @GetMapping("/sec-kill")
    public String secKill() throws Exception {
        // 获取锁
        RLock rLock = redissonClient.getLock("lock");
        // 加锁
        rLock.lock();

        // 执行业务数据

        // 解锁
        rLock.unlock();
        return "ok";
    }
}

Redission实现的分布式锁,直接调用,不需要锁异常、超时并发、锁删除等问题,它把处理上面的问题的代码都封装好了,直接调用即可。

Redlock 算法

在单机模式下,Redis发生单机故障,Redis master宕机了该怎么办?是否将锁转移到slave呢?答案是不行的,因为Redis复制是异步的,无法满足锁互斥性。

Redlock算法可以解决上面的问题,在集群模式下,Redission 使用Redlock算法,使用单机实例的方式顺序获取集群下的锁。如果请求超时,则认定该节点不可用。当获取锁的实例数超过半数时,则获取锁成功。如果获取锁失败,即没有获取超过半数的实例,那么久释放所有节点的锁。

Watch dog 看门狗机制

Redission通过看门狗的实现自动续期的功能,当分布式锁获取到锁后,对应的Redis宕机了,会出现死锁的状态,为避免出现这种状态,锁一般会设置一个过期时间。默认是30s,超过30s后,会自动释放锁。

Redission实例被关闭之前,不断的延长锁的有效期,拿到线程的锁如果没有完成业务操作,那么看门狗会一直延长锁的超时时间。默认情况下,每10s延长一次超时时间,续期时间是30s,可以通过Config.lockWatchdogTimeout来设定。

Redisson还提供了可以指定leaseTime参数的加锁方法来指定加锁的时间。超过这个时间后锁便自动解开了,不会延长锁的有效期。

总结

  • 分布式锁是由于单机锁无法满足分布式系统锁,在分布式环境下,需要分布式锁来控制共享内容,保证线程的安全。
  • 分布式满足几个特性
    • 互斥性
    • 超时释放锁
    • 自动续期
  • 分布式锁实现方式
    • Mysql使用排它锁,select xxxx for update。实现比较简单,但是数据库无法支撑大量请求访问,性能较差。
    • Zookeeper先创建一个持久类型的节点,当多个线程请求时,在持久类型节点创建顺序临时节点,先判断自己是否是最小节点,如果是持有锁,执行后续逻辑,如果不是就找到上一个顺序节点,并添加watch监听事件。线程处理结束后。触发监听事件,通知下一个节点获取锁。Zookeeper性能优于数据库,但是频繁的创建、删除节点并且创建watch监听,对服务器的压力也大。
    • 使用Redis实现分布式锁性能是最优,也是最复杂的。SETNX key value 获取锁,如果key存在,则成功获取锁,否则获取锁失败。使用del删除节点释放锁。复杂在于需要平衡超时时间锁续期。不设置超时时间,会发生死锁。设置了超时时间就可能出现业务处理时间大于超时时间,出现多个锁同时访问共享数据,以及锁误删的情况。解决方案是根据具体的业务时间设置合理的超时时间,锁误删的话要给每个线程设置一个唯一的id。此外,如果业务时间大于超时时间,开启线程定时续约时间。
    • 针对Redis实现分布式锁存在的问题Redisson提供了解决方案,Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid),Redisson是基于netty通信框架实现的,所以支持非阻塞通信,性能也比较高。Redisson有四种特性防死锁防误删可重入自动续期。支持单机和集群模式。自动续期是使用watch dog看门狗机制,在实例关闭前,不断地延长锁的有效期。默认10s延迟一次,延长时间为30s

参考

标签:由浅入深,Redis,获取,详解,线程,超时,节点,分布式
From: https://www.cnblogs.com/jeremylai7/p/17332101.html

相关文章

  • 实现声明式锁,支持分布式锁自定义锁、SpEL和结合事务
    目录2.实现2.1定义注解2.2定义锁接口2.3锁的实现2.3.1什么是SPI2.3.2通过SPI实现锁的多个实现类2.3.3通过SPI自定义实现锁3.定义切面3.1切面实现3.2SpEL表达式获取动态key3.3锁与事务的结合4.测试4.1ReentrantLock测试4.2RedissonClient测试4.3自定义锁测试5.尾声5.1......
  • 深度学习语义分割篇——FCN原理详解篇
    深度学习语义分割篇——FCN原理详解篇写在前面  在过往的博客中,我已经介绍了几种经典神经网络(VGG、GoogleNet、Resnet等等)在图像分类上的应用,这些都是非常基础却重要的内容,大家务必要掌握,不了解的可以进入个人主页搜索了解详情。......
  • Vue中 $attrs、$listeners 详解及使用
    传送门:Vue中子组件向父组件传值及.sync修饰符详解传送门:Vue中状态管理器(vuex)详解及应用场景传送门:Vue中事件总线(eventBus)详解及使用传送门:Vue中provide、inject详解及使用Vue中常见的组件通信方式可分为三类父子通信父向子传递数据是通过props,子向父是通过events($emit);......
  • B+树原理详解
    B树与B+树我们今天要介绍的是工作开发中最常接触到的InnoDB存储引擎中的B+树索引。要介绍B+树索引,就不得不提二叉查找树,平衡二叉树和B树这三种数据结构。B+树就是从他们仨演化来的。二叉查找树首先,让我们先看一张图:从图中可以看到,我们为user表(用户信息表)建立了一个二......
  • Truncate的使用详解
    删除表中数据的方法有delete和truncate,其中TRUNCATETABLE用于删除表中的所有行,而不记录单个行删除操作;TRUNCATETABLE与没有WHERE子句的DELETE语句类似,但是,TRUNCATETABLE速度更快,使用的系统资源和事务日志资源更少。下面介绍Truncate的用法1.truncate使用语法Trunca......
  • sqlserver 分布式可用性组(二)—— 创建、故障转移与元数据信息查看方法
     一、创建规划准备工作与普通创建两个AG没有区别,以下是DAG规划:ProductionDRWSFCOS:WindowsServer2016OS:WindowsServer2016Nodes:WSFC-DC1-NODE1andWSFC-DC1-NODE2Nodes:WSFC-DC2-NODE1andWSFC-DC2-NODE2ClusterNameObject:WSFC-DC1ClusterNameObject:WSFC-DC2......
  • sqlserver 分布式可用性组(一)—— 概要
    一、分布式可用性组简介分布式可用性组(DistributedAvailabilityGroup)是SQLServer2016中的新功能,它可跨两个单独的可用性组。两个可用性组无需处于同一位置:它们可以跨物理机、虚拟机;跨内网、云上;跨有域、无域;甚至跨平台(如Linux、Windows)。只要两个可用性组可以进行通信,就可以......
  • performance_schema 笔记(二)——配置详解
    提前预警:这一篇巨长。。。做好心理准备。。。删除了书里重复说明和过于复杂的一些解释,完整版请参考原书《MySQL性能优化金字塔法则》 零、基本概念instruments:生产者,用于采集MySQL中各种各样的操作产生的事件信息,可以称为监控采集配置项consumers:消费者,用于存储来自instruments......
  • redis分布式锁使用
    1.引入pom依赖 2.代码实现 3,加上断点,测试执行中 加锁成功 执行结束,释放锁 ......
  • graphhopper-ios 编译过程详解
    一、写在前面GraphHopper是一个快速且高效的路径规划引擎,它默认使用OpenStreetMap和GTFS数据,也可以导入其他数据源。它可以用作java库或独立的web服务器,去计算两个或多个点之间的线路的距离,时间,转弯指令和许多道路属性。除了“A-to-B”的路径规划能力之外,它还支持“snaptoro......