首页 > 数据库 >[Redis]过期操作与过期策略

[Redis]过期操作与过期策略

时间:2024-09-21 13:46:06浏览次数:1  
标签:策略 删除 过期 db Redis key ttl

如果在 Redis 中没有过期这个概念,这就意味着我们所有写入的键只要不主动删除就会一直保存在 Redis 中,而 Redis 又是一个基于内存的数据库,内存空间是非常有限的。

过期操作

过期设置
Redis 中设置过期时间主要通过以下四种方式:

expire key seconds:设置 key 在 n 秒后过期。
pexpire key milliseconds:设置 key 在 n 毫秒后过期。
expireat key timestamp:设置 key 在某个时间戳(精确到秒)之后过期。
pexpireat key millisecondsTimestamp:设置 key 在某个时间戳(精确到毫秒)之后过期。
可用命令 ttl key (以秒为单位)或 pttl key (以毫秒为单位)来查看 key 还有多久过期。

Redis 可以使用 time 命令查询当前时间的时间戳(精确到秒)。

字符串中几个直接操作过期时间的方法,如下列表:

set key value ex seconds:设置键值对的同时指定过期时间(精确到秒)。
set key value px milliseconds:设置键值对的同时指定过期时间(精确到毫秒)。
setex key seconds valule:设置键值对的同时指定过期时间(精确到秒)。
移除过期时间
使用命令: persist key 可以移除键值的过期时间。-1 表示永不过期。

Java 实现过期操作
使用 Jedis 来实现对 Redis 的操作,代码:

public class TTLTest {
    public static void main(String[] args) throws InterruptedException {
        // 创建 Redis 连接
        Jedis jedis = new Jedis("xxx.xxx.xxx.xxx", 6379);
        // 设置 Redis 密码(如果没有密码,此行可省略)
        jedis.auth("xxx");
        // 存储键值对(默认情况下永不过期)
        jedis.set("k", "v");
        // 查询 TTL(过期时间)
        Long ttl = jedis.ttl("k");
        // 打印过期日志
        // 过期时间:-1
        System.out.println("过期时间:" + ttl);
        // 设置 100s 后过期
        jedis.expire("k", 100);
        // 等待 1s 后执行
        Thread.sleep(1000);
        // 打印过期日志
        // 执行 expire 后的 TTL=99
        System.out.println("执行 expire 后的 TTL=" + jedis.ttl("k"));
    }
}

更多过期操作方法,如下列表:

pexpire(String key, long milliseconds):设置 n 毫秒后过期。
expireAt(String key, long unixTime):设置某个时间戳后过期(精确到秒)。
pexpireAt(String key, long millisecondsTimestamp):设置某个时间戳后过期(精确到毫秒)。
persist(String key):移除过期时间。

public class TTLTest {
    public static void main(String[] args) throws InterruptedException {
        // 创建 Redis 连接
        Jedis jedis = new Jedis("xxx.xxx.xxx.xxx", 6379);
        // 设置 Redis 密码(如果没有密码,此行可省略)
        jedis.auth("xxx");
        // 存储键值对(默认情况下永不过期)
        jedis.set("k", "v");
        // 查询 TTL(过期时间)
        Long ttl = jedis.ttl("k");
        // 打印过期日志
        System.out.println("过期时间:" + ttl);
        // 设置 100s 后过期
        jedis.expire("k", 100);
        // 等待 1s 后执行
        Thread.sleep(1000);
        // 打印过期日志
        System.out.println("执行 expire 后的 TTL=" + jedis.ttl("k"));
        // 设置 n 毫秒后过期
        jedis.pexpire("k", 100000);
        // 设置某个时间戳后过期(精确到秒)
        jedis.expireAt("k", 1573468990);
        // 设置某个时间戳后过期(精确到毫秒)
        jedis.pexpireAt("k", 1573468990000L);
        // 移除过期时间
        jedis.persist("k");
    }
}

持久化中的过期键
RDB 中的过期键
RDB 文件分为两个阶段,RDB 文件生成阶段和加载阶段。

  1. RDB 文件生成

RDB 加载分为以下两种情况:

如果 Redis 是主服务器运行模式的话,在载入 RDB 文件时,程序会对文件中保存的键进行检查,过期键不会被载入到数据库中。所以过期键不会对载入 RDB 文件的主服务器造成影响;
如果 Redis 是从服务器运行模式的话,在载入 RDB 文件时,不论键是否过期都会被载入到数据库中。但由于主从服务器在进行数据同步时,从服务器的数据会被清空。所以一般来说,过期键对载入 RDB 文件的从服务器也不会造成影响。
RDB 文件加载的源码可以在 rdb.c 文件的 rdbLoad() 函数中找到,源码所示:

/* Check if the key already expired. This function is used when loading

  • an RDB file from disk, either at startup, or when an RDB was
  • received from the master. In the latter case, the master is
  • responsible for key expiry. If we would expire keys here, the
  • snapshot taken by the master may not be reflected on the slave.
  • 如果服务器为主节点的话,
  • 那么在键已经过期的时候,不再将它们关联到数据库中去
    */
    if (server.masterhost == NULL && expiretime != -1 && expiretime < now) {
    decrRefCount(key);
    decrRefCount(val);
    // 跳过
    continue;
    }

AOF 中的过期键

  1. AOF 文件写入

当 Redis 以 AOF 模式持久化时,如果数据库某个过期键还没被删除,那么 AOF 文件会保留此过期键,当此过期键被删除后,Redis 会向 AOF 文件追加一条 DEL 命令来显式地删除该键值。

  1. AOF 重写

执行 AOF 重写时,会对 Redis 中的键值对进行检查已过期的键不会被保存到重写后的 AOF 文件中,因此不会对 AOF 重写造成任何影响。

主从库的过期键
当 Redis 运行在主从模式下时,从库不会进行过期扫描,从库对过期的处理是被动的。也就是即使从库中的 key 过期了,如果有客户端访问从库时,依然可以得到 key 对应的值,像未过期的键值对一样返回。

从库的过期键处理依靠主服务器控制,主库在 key 到期时,会在 AOF 文件里增加一条 del 指令,同步到所有的从库,从库通过执行这条 del 指令来删除过期的 key。

过期策略
在 Redis 中我们可以给一些元素设置过期时间,那当它过期之后 Redis 是如何处理这些过期键呢?

过期键执行流程
Redis 之所以能知道那些键值过期,是因为在 Redis 中维护了一个字典,存储了所有设置了过期时间的键值,我们称之为过期字典。

image

过期键源码分析
过期键存储在 redisDb 结构中,源代码在 src/server.h 文件中(基于 Redis 5):

/* Redis database representation. There are multiple databases identified
 * by integers from 0 (the default database) up to the max configured
 * database. The database number is the 'id' field in the structure. */
typedef struct redisDb {
    dict *dict;                 /* 数据库键空间,存放着所有的键值对 */
    dict *expires;              /* 键的过期时间 */
    dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/
    dict *ready_keys;           /* Blocked keys that received a PUSH */
    dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    int id;                     /* Database ID */
    long long avg_ttl;          /* Average TTL, just for stats */
    list *defrag_later;         /* List of key names to attempt to defrag one by one, gradually. */
} redisDb;

过期键数据结构如下图所示:

过期策略
Redis 会删除已过期的键值,以此来减少 Redis 的空间占用,但因为 Redis 本身是单线的,如果因为删除操作而影响主业务的执行就得不偿失了,为此 Redis 需要制定多个(过期)删除策略来保证正常执行的性能。

定时删除
在设置键值过期时间时,创建一个定时事件,当过期时间到达时,由事件处理器自动执行键的删除操作。

优点:保证内存可以被尽快地释放。
缺点:在 Redis 高负载的情况下或有大量过期键需要同时处理时,会造成 Redis 服务器卡顿,影响主业务执行。
惰性删除
不主动删除过期键,每次从数据库获取键值时判断是否过期,如果过期则删除键值,并返回 null。

优点:因为每次访问时,才会判断过期键,所以此策略只会使用很少的系统资源。
缺点:系统占用空间删除不及时,导致空间利用率降低,造成了一定的空间浪费。
源码解析

惰性删除的源码位于 src/db.c 文件的 expireIfNeeded 方法中,源码如下:

int expireIfNeeded(redisDb *db, robj key) {
// 判断键是否过期
if (!keyIsExpired(db,key)) return 0;
if (server.masterhost != NULL) return 1;
/
删除过期键 */
// 增加过期键个数
server.stat_expiredkeys++;
// 传播键过期的消息
propagateExpire(db,key,server.lazyfree_lazy_expire);
notifyKeyspaceEvent(NOTIFY_EXPIRED,
"expired",key,db->id);
// server.lazyfree_lazy_expire 为 1 表示异步删除(懒空间释放),反之同步删除
return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) :
dbSyncDelete(db,key);
}
// 判断键是否过期
int keyIsExpired(redisDb *db, robj key) {
mstime_t when = getExpire(db,key);
if (when < 0) return 0; /
No expire for this key /
/
Don't expire anything while loading. It will be done later. */
if (server.loading) return 0;
mstime_t now = server.lua_caller ? server.lua_time_start : mstime();
return now > when;
}
// 获取键的过期时间
long long getExpire(redisDb *db, robj *key) {
dictEntry de;
/
No expire? return ASAP /
if (dictSize(db->expires) == 0 ||
(de = dictFind(db->expires,key->ptr)) == NULL) return -1;
/
The entry was found in the expire dict, this means it should also
* be present in the main dict (safety check). */
serverAssertWithInfo(NULL,key,dictFind(db->dict,key->ptr) != NULL);
return dictGetSignedIntegerVal(de);
}
所有对数据库的读写命令在执行之前,都会调用 expireIfNeeded 方法判断键值是否过期,过期则会从数据库中删除,反之则不做任何处理。

image

定期删除

每隔一段时间检查一次数据库,随机删除一些过期键。

Redis 默认每秒进行 10 次过期扫描,此配置可通过 Redis 的配置文件 redis.conf 进行配置,配置键为 hz 它的默认值是 hz 10。

注意:Redis 每次扫描并不是遍历过期字典中的所有键,而是采用随机抽取判断并删除过期键的形式执行的。

定期删除流程

从过期字典中随机取出 20 个键。
删除这 20 个键中过期的键。
如果过期 key 的比例超过 25%,重复步骤 1。
同时为了保证过期扫描不会出现循环过度,导致线程卡死现象,算法还增加了扫描时间的上限,默认不会超过 25ms。

image

优点:通过限制删除操作的时长和频率,来减少删除操作对 Redis 主业务的影响,同时也能删除一部分过期的数据减少了过期键对空间的无效占用。
缺点:内存清理方面没有定时删除效果好,同时没有惰性删除使用的系统资源少。
源码解析

定期删除的核心源码在 src/expire.c 文件下的 activeExpireCycle 方法中,源码如下:

void activeExpireCycle(int type) {
static unsigned int current_db = 0; /* 上次定期删除遍历到的数据库ID /
static int timelimit_exit = 0; /
Time limit hit in previous call? /
static long long last_fast_cycle = 0; /
上一次执行快速定期删除的时间点 /
int j, iteration = 0;
int dbs_per_call = CRON_DBS_PER_CALL; // 每次定期删除,遍历的数据库的数量
long long start = ustime(), timelimit, elapsed;
if (clientsArePaused()) return;
if (type == ACTIVE_EXPIRE_CYCLE_FAST) {
if (!timelimit_exit) return;
// ACTIVE_EXPIRE_CYCLE_FAST_DURATION 是快速定期删除的执行时长
if (start < last_fast_cycle + ACTIVE_EXPIRE_CYCLE_FAST_DURATION
2) return;
last_fast_cycle = start;
}
if (dbs_per_call > server.dbnum || timelimit_exit)
dbs_per_call = server.dbnum;
// 慢速定期删除的执行时长
timelimit = 1000000ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100;
timelimit_exit = 0;
if (timelimit <= 0) timelimit = 1;
if (type == ACTIVE_EXPIRE_CYCLE_FAST)
timelimit = ACTIVE_EXPIRE_CYCLE_FAST_DURATION; /
删除操作的执行时长 */
long total_sampled = 0;
long total_expired = 0;
for (j = 0; j < dbs_per_call && timelimit_exit == 0; j++) {
int expired;
redisDb db = server.db+(current_db % server.dbnum);
current_db++;
do {
// .......
expired = 0;
ttl_sum = 0;
ttl_samples = 0;
// 每个数据库中检查的键的数量
if (num > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)
num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;
// 从数据库中随机选取 num 个键进行检查
while (num--) {
dictEntry de;
long long ttl;
if ((de = dictGetRandomKey(db->expires)) == NULL) break;
ttl = dictGetSignedInteger
// 过期检查,并对过期键进行删除
if (activeExpireCycleTryExpire(db,de,now)) expired++;
if (ttl > 0) {
/
We want the average TTL of keys yet not expired. /
ttl_sum += ttl;
ttl_samples++;
}
total_sampled++;
}
total_expired += expired;
if (ttl_samples) {
long long avg_ttl = ttl_sum/ttl_samples;
if (db->avg_ttl == 0) db->avg_ttl = avg_ttl;
db->avg_ttl = (db->avg_ttl/50)
49 + (avg_ttl/50);
}
if ((iteration & 0xf) == 0) { /
check once every 16 iterations. /
elapsed = ustime()-start;
if (elapsed > timelimit) {
timelimit_exit = 1;
server.stat_expired_time_cap_reached_count++;
break;
}
}
/
每次检查只删除 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4 个过期键 */
} while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);
}
// .......
}
activeExpireCycle 方法在规定的时间,分多次遍历各个数据库,从过期字典中随机检查一部分过期键的过期时间,删除其中的过期键。

这个函数有两种执行模式,一个是快速模式一个是慢速模式,体现是代码中的 timelimit 变量,这个变量是用来约束此函数的运行时间的。快速模式下 timelimit 的值是固定的,等于预定义常量 ACTIVE_EXPIRE_CYCLE_FAST_DURATION,慢速模式下,这个变量的值是通过 1000000 * ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100 计算的。

Redis 使用的过期策略
Redis 使用的是惰性删除加定期删除的过期策略。

标签:策略,删除,过期,db,Redis,key,ttl
From: https://www.cnblogs.com/DCFV/p/18423927

相关文章

  • 策略模式(什么是策略模式、策略模式的应用场景、策略模式的优点和缺点、策略模式在项目
    文章目录1.什么是策略模式2.策略模式的应用场景3.策略模式的优点和缺点3.1优点3.2缺点4.策略模式在项目中的应用(以支付方式为例)4.1没有应用策略模式前的代码4.2应用策略模式改造代码4.2.1定义一个抽象的支付方式接口4.2.2让具体的支付方式实现抽象的支付方式......
  • Redis基础
    Redis基础一、认识RedisNoSQL(NotOnlySQL):意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。Redis(RemoteDictionaryService):远程词典服务器,基于内存的键值型NoSQL数据库。特征:键值(Key-value)型,value支持多种不同数据结构,功能丰富单线程,每个命令具备原子......
  • Redis面试题-如何保持缓存一致性
    1、延迟双删延迟双删策略是一种用于解决缓存与数据库之间数据一致性问题的方法。其基本思想是在更新数据库时,通过两次删除缓存的操作来尽可能地保证数据的一致性。具体步骤包括:首先,在更新数据库之前删除缓存;然后,执行数据库更新操作;最后,在延迟一段时间后再次删除缓存。优点:减......
  • 【C++篇】C++类与对象深度解析(六):全面剖析拷贝省略、RVO、NRVO优化策略
    文章目录C++类与对象前言读者须知RVO与NRVO的启用条件如何确认优化是否启用?1.按值传递与拷贝省略1.1按值传递的概念1.2示例代码1.3按值传递的性能影响1.3.1完全不优化1.4不同编译器下的优化表现1.4.1VisualStudio2019普通优化1.4.2VisualStudio2022激进......
  • 在一台服务器docker下载mysql和redis镜像,保存到本地,然后在另外一台服务上导入镜像
    要在一台服务器上下载MySQL和Redis的Docker镜像并保存到本地,然后在另一台服务器上导入镜像,您可以按照以下步骤进行操作:步骤1:在第一台服务器上下载MySQL和Redis镜像下载MySQL镜像:dockerpullmysql:latest下载Redis镜像:dockerpullredis:latest步骤2:......
  • 【Redis入门到精通二】Redis核心数据类型(String,Hash)详解
    目录Redis数据类型1.String类型 (1)常见命令(2)内部编码2.Hash类型(1)常见命令(2)内部编码Redis数据类型    查阅Redis官方文档可知,Redis提供给用户的核心数据类型有以下九个,从上到下依次是字符串,哈希,列表,集合,有序集合,流,位图,位域,地址空间。因为Redis本身就是通......
  • 【涨停破底收回战法】又称假跌破回笼战法,技术要点和操作策略
    如上图,一个涨停板之后,行情没能继续强势上攻,新高不高,随即开始出现调整,7日内止跌转涨信号出现,后市行情开启一波新的上涨行情。战法要求有一个涨停板出现,不能有多个涨停涨停板后随即调整逐步下行调整7日内出现跌破涨停板收十字星止跌线形态止跌K线后次日价格收回涨停板......
  • 服务器硬盘的作用与优化配置策略:打造高效稳定的存储解决方案
    在构建和运维服务器系统的过程中,硬盘作为数据存储的核心组件,其性能和配置直接影响到整个系统的响应速度、数据安全以及扩展性。鼎峰新匯Benson包子将深入探讨服务器硬盘的作用,并分享如何根据实际需求搭配不同类型的硬盘,以达到最佳的性能和成本效益。服务器硬盘的核心作用1.数据存......
  • AI预测福彩3D采取888=3策略+和值012路或胆码测试9月20日新模型预测第93弹
            经过90多期的测试,当然有很多彩友也一直在观察我每天发的预测结果,得到了一个非常有价值的信息,那就是9码定位的命中率非常高,90多期一共只错了10次,这给喜欢打私房菜的朋友提供了极高价值的预测结果~当然了,大部分菜友还是走的正常渠道,因此,得想办法进行缩水,尽可能少......
  • AI预测体彩排3采取888=3策略+和值012路或胆码测试9月20日升级新模型预测第86弹
            经过80多期的测试,当然有很多彩友也一直在观察我每天发的预测结果,得到了一个非常有价值的信息,那就是9码定位的命中率非常高,已到达90%的命中率,这给喜欢打私菜的朋友提供了极高价值的预测结果~当然了,大部分菜友还是走的正常渠道,因此,得想办法进行缩水,尽可能少的缩......