首页 > 数据库 >Redis缓存满了怎么办

Redis缓存满了怎么办

时间:2022-10-28 00:22:09浏览次数:51  
标签:缓存 Redis 访问 lru 淘汰 怎么办 数据

Redis缓存满了怎么办?

​ 当使用redis作为数据库的缓存,是为了避免业务应用直接从后端数据库读取数据;采用redis储存数据可以提升系统的响应速度.

​ 但是如果将大量数据全部存入缓存中会不会更好?

MySQL 中有 1TB 的数据,如果我们使用 Redis 把这 1TB 的数据都缓存起来,虽然应用都能在内存中访问数据了,但是这样做合理吗?

​ 并不合理

  • 1TB 内存的价格大约是 3.5 万元,而 1TB 磁盘的价格大约是 1000 元
  • 另一方面,数据访问都是有局部性的,也就是我们通常所说的“八二原理”,80% 的请求实际只访问了 20% 的数据。所以,用 1TB 的内存做缓存,并没有必要

所以为了保证比较高的性价比,缓存的空间必然是比数据库的容量要小的;

所以redis的空间是有限的,当缓存的数据越来越多,空间不可避免的会被写满;

设置多大的缓存容量合适?

缓存容量设置得是否合理,会直接影响到使用缓存的性价比。我们通常希望以最小的代价去获得最大的收益,所以,把昂贵的内存资源用在关键地方就非常重要。

实际应用中的数据访问是具有局部性的。下面有一张图,图里有红、蓝两条线,显示了不同比例数据贡献的访问量情况。蓝线代表了“八二原理”表示的数据局部性,而红线则表示在当前应用负载下,数据局部性的变化。

先看看蓝线。它表示的就是“八二原理”,有 20% 的数据贡献了 80% 的访问了,而剩余的数据虽然体量很大,但只贡献了 20% 的访问量。这 80% 的数据在访问量上就形成了一条长长的尾巴,我们也称为“长尾效应”

所以,如果按照“八二原理”来设置缓存空间容量,也就是把缓存空间容量设置为总数据量的 20% 的话,就有可能拦截到 80% 的访问。

但是用户的个性化需求越来越多,在一个业务应用中,不同用户访问的内容可能差别很大,所以,用户请求的数据和它们贡献的访问量比例,不再具备长尾效应中的“八二原理”分布特征了。也就是说,20% 的数据可能贡献不了 80% 的访问,而剩余的 80% 数据反而贡献了更多的访问量,我们称之为重尾效应。

正是因为 20% 的数据不一定能贡献 80% 的访问量,我们不能简单地按照“总数据量的 20%”来设置缓存最大空间容量。其实缓存容量占总数据量的比例,从 5% 到 40% 的都有,这个容量规划不能一概而论,是需要结合应用数据实际访问特征和成本开销来综合考虑的。一般来说,建议把缓存容量设置为总数据量的 15% 到 30%,兼顾访问性能和内存空间开销。

对于 Redis 来说,一旦确定了缓存最大容量,比如 4GB,就可以使用下面这个命令来设定缓存的大小了:

CONFIG SET maxmemory 4gb

不过,缓存被写满是不可避免的。即使你精挑细选,确定了缓存容量,还是要面对缓存写满时的替换操作。缓存淘汰需要解决两个问题:决定淘汰哪些数据,如何处理那些被淘汰的数据。

缓存数据的淘汰机制

Redis 4.0 之前一共实现了 6 种内存淘汰策略,在 4.0 之后,又增加了 2 种策略。我们可以按照是否会进行数据淘汰把它们分成两类:

  • 不进行数据淘汰的策略,只有 noeviction 这一种(默认的)。
  • 会进行淘汰的 7 种其他策略。

会进行淘汰的 7 种策略,再进一步根据淘汰候选数据集的范围把它们分成两类:

  • 在设置了过期时间的数据中进行淘汰,包括 volatile-random、volatile-ttl、volatile-lru、volatile-lfu(Redis 4.0 后新增)四种。
  • 在所有数据范围内进行淘汰,包括 allkeys-lru、allkeys-random、allkeys-lfu(Redis 4.0 后新增)三种。

默认策略

​ 默认情况下,Redis 在使用的内存空间超过 maxmemory 值时,并不会淘汰数据,也就是设定的 noeviction 策略。

​ 对应到 Redis 缓存,也就是指,一旦缓存被写满了,再有写请求来时,Redis 不再提供服务,而是直接返回错误。Redis 用作缓存时,实际的数据集通常都是大于缓存容量的,总会有新的数据要写入缓存,这个策略本身不淘汰数据,也就不会腾出新的缓存空间,我们不把它用在 Redis 缓存中。

策略简介

策略 操作
volatile-ttl 在筛选时,会针对设置了过期时间的键值对,根据过期时间的先后进行删除,越早过期的越先被删除。
volatile-random 就像它的名称一样,在设置了过期时间的键值对中,进行随机删除。
volatile-lru 会使用 LRU 算法筛选设置了过期时间的键值对
volatile-lfu 会使用 LFU 算法选择设置了过期时间的键值对。
allkeys-random 从所有键值对中随机选择并删除数据
allkeys-lru 使用 LRU 算法在所有数据中进行筛选。
allkeys-lfu 会使用 LFU 算法选择设置了过期时间的键值对。

如果一个键值对被删除策略选中了,即使它的过期时间还没到,也需要被删除。当然,如果它的过期时间到了但未被策略选中,同样也会被删除。

LRU算法

​ LRU 算法的全称是 Least Recently Used,从名字上就可以看出,这是按照最近最少使用的原则来筛选数据,最不常用的数据会被筛选出来,而最近频繁使用的数据会留在缓存中。

那具体是怎么筛选的呢?LRU 会把所有的数据组织成一个链表,链表的头和尾分别表示 MRU 端和 LRU 端,分别代表最近最常使用的数据和最近最不常用的数据。

我们现在有数据 6、3、9、20、5。如果数据 20 和 3 被先后访问,它们都会从现有的链表位置移到 MRU 端,而链表中在它们之前的数据则相应地往后移一位。因为,LRU 算法选择删除数据时,都是从 LRU 端开始,所以把刚刚被访问的数据移到 MRU 端,就可以让它们尽可能地留在缓存中。

​ LRU 算法背后的想法非常朴素:它认为刚刚被访问的数据,肯定还会被再次访问,所以就把它放在 MRU 端;长久不访问的数据,肯定就不会再被访问了,所以就让它逐渐后移到 LRU 端,在缓存满时,就优先删除它。

不过,LRU 算法在实际实现时,需要用链表管理所有的缓存数据,这会带来额外的空间开销。而且,当有数据被访问时,需要在链表上把该数据移动到 MRU 端,如果有大量数据被访问,就会带来很多链表移动操作,会很耗时,进而会降低 Redis 缓存性能。

所以,在 Redis 中,LRU 算法被做了简化,以减轻数据淘汰对缓存性能的影响,Redis 默认会记录每个数据的最近一次访问的时间戳(由键值对数据结构 RedisObject 中的 lru 字段记录)。然后,Redis 在决定淘汰的数据时,第一次会随机选出 N 个数据,把它们作为一个候选集合。接下来,Redis 会比较这 N 个数据的 lru 字段,把 lru 字段值最小的数据从缓存中淘汰出去。

当需要再次淘汰数据时,Redis 需要挑选数据进入第一次淘汰时创建的候选集合。这儿的挑选标准是:能进入候选集合的数据的 lru 字段值必须小于候选集合中最小的 lru 值。当有新数据进入候选数据集后,如果候选数据集中的数据个数达到了 maxmemory-samples,Redis 就把候选数据集中 lru 字段值最小的数据淘汰出去

建议

优先使用 allkeys-lru 策略。这样,可以充分利用 LRU 这一经典缓存算法的优势,把最近最常访问的数据留在缓存中,提升应用的访问性能。如果你的业务数据中有明显的冷热数据区分,我建议你使用 allkeys-lru 策略。如果业务应用中的数据访问频率相差不大,没有明显的冷热数据区分,建议使用 allkeys-random 策略,随机选择淘汰的数据就行。

如果你的业务中有置顶的需求,比如置顶新闻、置顶视频,那么,可以使用 volatile-lru 策略,同时不给这些置顶数据设置过期时间。这样一来,这些需要置顶的数据一直不会被删除

标签:缓存,Redis,访问,lru,淘汰,怎么办,数据
From: https://www.cnblogs.com/xuzhidong/p/16834458.html

相关文章

  • Redis持久化----RDB
    Redis持久化----RDB原理当采用RDB这种方式来持久化Redis中的数据时,是向RDB文件中写入redis的快照;什么是内存快照:​ 所谓内存快照,就是指内存中的数据在某⼀个时刻的......
  • 浏览器缓存机制的理解
    缓存可以减缓网络OI消耗,提高访问速度。通过网络获取内容速度慢而且开销巨大。大的响应需要在客户端和服务器之间进行多次来回的通信,就导致延迟了浏览器获取和处理内容的时间......
  • Redis的单线程和高性能
    Redis是单线程吗?Redis的单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的,这也是Redis对外提供键值存储服务的主要流程。但Redis的其他功能,比如持久......
  • Redis开发规范与性能优化
    目录一、键值设计二、命令使用三、客户端使用四、系统内核参数优化一、键值设计1.key名设计【建议】可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突),用冒号......
  • redis使用实例
    //检查key是否存在,返回boolean值1.stringRedisTemplate.hasKey(Stringkey)//根据key获取缓存中value2.stringRedisTemplate.opsForValue().get(Objectkey)//截取key......
  • EhCache分布式缓存
    1.什么是EhCacheEhCache是一个比较成熟的Java缓存框架,最早从hibernate发展而来,是进程中的缓存系统,它提供了用内存,磁盘文件存储,以及分布式存储方式等多种灵活的cache管......
  • OpenResty+mysql+redis
    1、       ad_load.lua  nginx.conf1、读取mysql并缓存redis     参考:https://www.cnblogs.com/bbgs-xc/p/14437703.html https:/......
  • Redis常用概念及操作
    目录概述是什么?常见的作用缓存分布式锁五种数据结构String常用命令应用场景Hash常用命令应用场景优缺点优点缺点Set常用命令应用场景List常用命令Zset常用命令应用场景其它......
  • Edge和Firefox的缓存位置修改
    更新Edge老办法:mklink/D"C:\Users\yourname\AppData\Local\Microsoft\Edge\UserData\Default\Cache"目标目录Edge:(此办法经过实验已经置为:不推荐等级 原因是使用策......
  • redis 常用命令总结
                     在Java中操作Redismaven坐标:<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-da......