首页 > 数据库 >Lua 脚本在 Redis 事务中的应用实践

Lua 脚本在 Redis 事务中的应用实践

时间:2022-09-29 15:39:13浏览次数:48  
标签:脚本 -- Redis redis Lua call

Lua 脚本在 Redis 事务中的应用实践

使用过 Redis 事务的应该清楚,Redis 事务实现是通过打包多条命令,单独的隔离操作,事务中的所有命令都会按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。事务中的命令要么全部被执行,要么全部都不执行(原子操作)。但其中有命令因业务原因执行失败并不会阻断后续命令的执行,且也无法回滚已经执行过的命令。如果想要实现和 MySQL 一样的事务处理可以使用 Lua 脚本来实现,Lua 脚本中可实现简单的逻辑判断,执行中止等操作。

1 初始 Lua 脚本

Lua 是一个小巧的脚本语言,Redis 脚本使用 Lua 解释器来执行脚本。 Reids 2.6 版本通过内嵌支持 Lua 环境。执行脚本的常用命令为 EVAL。编写 Lua 脚本就和编写 shell 脚本一样的简单。Lua 语言详细教程参见

示例:

--[[
    version:1.0
    检测key是否存在,如果存在并设置过期时间
    入参列表:
        参数个数量:1
        KEYS[1]:goodsKey 商品Key

    返回列表code:
        +0:不存在
        +1:存在
--]]
local usableKey = KEYS[1]

--[ 判断usableKey在Redis中是否存在 存在将过期时间延长1分钟 并返回是否存在结果--]
local usableExists = redis.call('EXISTS', usableKey)
if (1 == usableExists) then
    redis.call('PEXPIRE', usableKey, 60000)
end
return { usableExists }
  1. 示例代码中 redis.call (), 是 Redis 内置方法,用与执行 redis 命令
  2. if () then end 是 Lua 语言基本分支语法
  3. KEYS 为 Redis 环境执行 Lua 脚本时 Redis Key 参数,如果使用变量入参使用 ARGV 接收
  4. “—” 代表单行注释 “—[[ 多行注释 —]]”

2 实践应用

2.1 需求分析

经典案例需求:库存量扣减并检测库存量是否充足。

基础需求分析:商品当前库存量 >= 扣减数量时,执行扣减。商品当前库存量 < 扣减数量时,返回库存不足

实现方案分析:

1)MySQL 事务实现:

  • 利用 DB 行级锁,锁定要扣减商品库存量数据,再判断库存量是否充足,充足执行扣减,否则返回库存不足。
  • 执行库存扣减,再判断扣减后结果是否小于 0,小于 0 说明库存不足,事务回滚,否则提交事务。

2)方案优缺点分析:

  • 优点:MySQL 天然支持事务,实现难度低。
  • 缺点:不考虑热点商品场景,当业务量达到一定量级时会达到 MySQL 性能瓶颈,单库无法支持业务时扩展问题成为难点,分表、分库等方案对功能开发、业务运维、数据运维都须要有针对于分表、分库方案所配套的系统或方案。对于系统改造实现难度较高。

Redis Lua 脚本事务实现:将库存扣减判断库存量最小原子操作逻辑编写为 Lua 脚本。

  • 从 DB 中初始化商品库存数量,利用 Redis WATCH 命令。
  • 判断商品库存量是否充足,充足执行扣减,否则返回库存不足。
  • 执行库存扣减,再判断扣减后结果是否小于 0,小于 0 说明库存不足,反向操作增加减少库存量,返回操作结果

方案优缺点分析:

  • 优点:Redis 命令执行单线程特性,无须考虑并发锁竟争所带来的实现复杂度。Redis 天然支持 Lua 脚本,Lua 语言学习难度低,实现与 MySQL 方案难度相当。Redis 同一时间单位支持的并发量比 MySQL 大,执行耗时更小。对于业务量的增长可以扩容 Redis 集群分片。
  • 缺点:暂无

2.2 Redis Lua 脚本事务方案实现

初始化商品库存量:

//利用Watch 命令乐观乐特性,减少锁竞争所损耗的性能
 public boolean init(InitStockCallback initStockCallback, InitOperationData initOperationData) {
 //SessionCallback 会话级Rdis事务回调接口 针对于operations所有操作将在同一个Redis tcp连接上完成
List<Object> result = stringRedisTemplate.execute(new SessionCallback<List<Object>>() {
            public List<Object> execute(RedisOperations operations) {
                Assert.notNull(operations, "operations must not be null");
//Watch 命令用于监视一个(或多个) key ,如果在事务执行之前这个(或这些) key 被其他命令所改动,那么事务将被打断
//当出前并发初始化同一个商品库存量时,只有一个能成功
                operations.watch(initOperationData.getWatchKeys());
                int initQuantity;
                try {
//查询DB商品库存量
                    initQuantity = initStockCallback.getInitQuantity(initOperationData);
                } catch (Exception e) {
                    //异常后释放watch
                    operations.unwatch();
                    throw e;
                }
//开启Reids事务
                operations.multi();
//setNx设置商品库存量
                operations.opsForValue().setIfAbsent(initOperationData.getGoodsKey(), String.valueOf(initQuantity));
//设置商品库存量 key 过期时间
                operations.expire(initOperationData.getGoodsKey(), Duration.ofMinutes(60000L));
///执行事事务
                return operations.exec();
            }
        });
//判断事务执行结果
        if (!CollectionUtils.isEmpty(result) && result.get(0) instanceof Boolean) {
            return (Boolean) result.get(0);
        }
        return false;
    }

库存扣减逻辑

--[[
    version:1.0
    减可用库存
    入参列表:
        参数个数量:
        KEYS[1]:usableKey 商品可用量Key
        KEYS[3]:usableSubtractKey 减量记录key
        KEYS[4]:operateKey 操作防重Key
        KEYS[5]:hSetRecord 记录操作单号信息
        ARGV[1]:quantity操作数量
        ARGV[2]:version 操作版本号
        ARGV[5]:serialNumber 单据流水编码
        ARGV[6]:record 是否记录过程量
    返回列表:
        +1:操作成功
         0: 操作失败
        -1: KEY不存在
        -2:重复操作
        -3: 库存不足
        -4:过期操作
        -5:缺量库存不足
        -6:可用负库存
--]]
local usableKey = KEYS[1];
local usableSubtractKey = KEYS[3]
local operateKey = KEYS[4]
local hSetRecord = KEYS[5]

local quantity = tonumber(ARGV[1])
local version = ARGV[2]
local serialNumber = ARGV[5]

--[ 判断商品库存key是否存在 不存在返回-1 --]
local usableExists = redis.call('EXISTS', usableKey);
if (0 == usableExists) then
    return { -1, version, 0, 0 };
end

--[ 设置防重key 设置失败说明操作重复返回-2 --]
local isNotRepeat = redis.call('SETNX', operateKey, version);
if (0 == isNotRepeat) then
    redis.call('SET', operateKey, version);
    return { -2, version, quantity, 0 };
end


--[ 商品库存量扣减后小0 说明库存不足 回滚扣减数量 并清除防重key立即过期 返回-3 --]
local usableResult = redis.call('DECRBY', usableKey, quantity);
if ( usableResult < 0) then
    redis.call('INCRBY', usableKey, quantity);
    redis.call('PEXPIRE', operateKey, 0);
    return { -3, version, 0, usableResult };
end

--[ 记录扣减量并设置防重key 30天后过期 返回 1--]
-- [ 需要记录过程量与过程单据信息 --]
local usableSubtractResult = redis.call('INCRBY', usableSubtractKey, quantity);
redis.call('HSET', hSetRecord, serialNumber, quantity)
redis.call('PEXPIRE', hSetRecord, 3600000)
redis.call('PEXPIRE', operateKey, 2592000000)
redis.call('PEXPIRE', usableKey, 3600000)
return { 1, version, quantity, 0, usableResult ,usableSubtractResult}

初始化 Lua 脚本到 Redis 服务器

//读取Lua脚本文件
    private String readLua(File file) {
        StringBuilder sbf = new StringBuilder();
        try (BufferedReader reader = new BufferedReader(new FileReader(file))) {
            String temp;
            while (Objects.nonNull(temp = reader.readLine())) {
                sbf.append(temp);
                sbf.append('\n');
            }
            return sbf.toString();
        } catch (FileNotFoundException e) {
            LOGGER.error("[{}]文件不存在", file.getPath());
        } catch (IOException e) {
            LOGGER.error("[{}]文件读取异常", file.getPath());
        }
        return null;
    }
//初始化Lua脚本到Redis服务器 成功后会返回脚本对应的sha1码,系统缓存脚本sha1码,
//通过sha1码可以在Redis服务器执行对应的脚本
public String scriptLoad(File file) {
String script = readLua(file)
   return stringRedisTemplate.execute((RedisCallback<String>) connection -> connection.scriptLoad(script.getBytes()));
}

脚本执行

 public OperationResult eval(String redisScriptSha1,OperationData operationData) {
        List<String> keys = operationData.getKeys();
        String[] args = operationData.getArgs();
//执行Lua脚本 keys 为Lua脚本中使用到的KEYS args为Lua脚本中使用到的ARGV参数
//如果是在Redis集群模式下,同一个脚本中的多个key,要满足多个key在同一个分片
//服务器开启hash tag功能,多个key 使用{}将相同部分包裹 
//例:usableKey:{EMG123} operateKey:operate:{EMG123} 
Object result = stringRedisTemplate.execute(redisScriptSha1, keys, args);
//解析执行结果        
return parseResult(operationData, result);
    }

3 总结

Redis 在小数据操作并发可达到 10W, 针对与业务中对资源强校验且高并发场景下使用 Redis 配合 Lua 脚本完成简单逻辑处理抗并发量是个不错的选择,博主一般都是部署在cnaaa服务器上的,感兴趣的朋友可以自己部署一套尝试练习下。

注:Lua 脚本逻辑尽量简单,Lua 脚本实用于耗时短且原子操作。耗时长影响 Redis 服务器性能,非原子操作或逻辑复杂会增加于脚本调试与维度难度。理想状态是将业务用 Lua 脚本包装成一个如 Redis 命令一样的操作。

标签:脚本,--,Redis,redis,Lua,call
From: https://blog.51cto.com/u_15527728/5722979

相关文章

  • Lua 脚本在 Redis 事务中的应用实践
    Lua脚本在Redis事务中的应用实践使用过Redis事务的应该清楚,Redis事务实现是通过打包多条命令,单独的隔离操作,事务中的所有命令都会按顺序地执行。事务在执行的过程中......
  • 原生 Redis 跨数据中心双向同步优化实践
    原生Redis跨数据中心双向同步优化实践一、背景公司基于业务发展以及战略部署,需要实现在多个数据中心单元化部署,一方面可以实现多数据中心容灾,另外可以提升用户请求访问......
  • 原生 Redis 跨数据中心双向同步优化实践
    原生Redis跨数据中心双向同步优化实践一、背景公司基于业务发展以及战略部署,需要实现在多个数据中心单元化部署,一方面可以实现多数据中心容灾,另外可以提升用户请求访问......
  • shell脚本之检测文件类型
    1.功能:输入路径,检测文件类型。2.复习:shellwhile循环,if条件语句,file命令使用等。3.代码实现:catfile.sh[root@VM-4-13-centosshell]#catfile.sh#!/bin/bashwhil......
  • Redis Stream实现全部节点机器推送消息
    背景有时候,在微服务时代,我们需要对全部的机器节点进行通知。在常规情况下,一个请求经过负载均衡只有一个机器可以收到。那么,如何能让全部的机器都收到同样的请求呢?需要借助......
  • linux 安装Redis以及使用
    安装redisyuminstallredis 安装完毕后,使用下面的命令启动redis服务设置redis为开机自动启动chkconfigredison 进入redis服务#进入本机redisredis-cli......
  • 使用Oracle的sshUserSetup.sh脚本配置SSH互信
    不管是在Oracle的GRID安装包,还是DB安装包里都有个脚本(sshUserSetup.sh),用于配置机器之间的SSH互信。配置互信,不仅仅在安装RAC需要配置。有时候我们需要配置ssh互信的时候,用......
  • 【Redis】缓存穿透、缓存击穿、缓存雪崩
     缓存雪崩缓存雪崩是指缓存同一时间大面积失效,所以后面的请求都会落在数据库上,造成数据库短时间内承受大量请求而崩掉。目前电商首页以及热点数据都会缓存,一般缓存都......
  • Golang Redis有序集合(sorted set)
    Redis有序集合(sortedset)和集合一样也是string类型元素的集合,且不允许重复的成员,不同的是每个元素都会关联一个double类型的分数,这个分数主要用于集合元素排序。引用git......
  • jmeter录制登录脚本
    1、添加代理服务器在非测试元件添加http代理服务器,端口写8888,域写127.0.0.1在排除模式里填入.*.(js|css|PNG|jpg|ico|png|gif|woff|ttf).*2、添加一个线程组在线程......