首页 > 数据库 >Redis缓存穿透和缓存雪崩

Redis缓存穿透和缓存雪崩

时间:2024-04-05 14:30:33浏览次数:24  
标签:缓存 请求 数据库 Redis 布隆 雪崩 key 过滤器

一、缓存穿透

1 什么是缓存穿透

        缓存穿透说简单点就是大量请求的 key 根本不存在于缓存中,导致请求直接到了数据库上,根本没有经过缓存这一层。举个例子:某个黑客故意制造我们缓存中不存在的 key 发起大量请求,导致大量请求落到数据库。

2 处理流程

如下图所示,用户的请求最终都要跑到数据库中查询一遍。

 3 解决办法

        最基本的就是首先做好参数校验,一些不合法的参数请求直接抛出异常信息返回给客户端。比如查询的数据库 id 不能小于 0、传入的邮箱格式不对的时候直接返回错误消息给客户端等等。  1. 缓存无效key 

        如果缓存和数据库都查不到某个 key 的数据就写一个到 Redis 中去并设置过期时间,具体命令如下: SET key value EX 10086 。这种方式可以解决请求的 key 变化不频繁的情况,如果黑客恶意攻击,每次构建不同的请求 key,会导致 Redis 中缓存大量无效的 key 。很明显,这种方案并不能从根本上解决此问题。如果非要用这种方式来解决穿透问题的话,尽量将无效的 key 的过期时间设置短一点比如 1 分钟。

        如果用 Java 代码展示的话,差不多是下面这样的:

public Object getObjectInclNullById(Integer id) {
    // 从缓存中获取数据
    Object cacheValue = cache.get(id);
    // 缓存为空
    if (cacheValue == null) {
        // 从数据库中获取
        Object storageValue = storage.get(key);
        // 缓存空对象
        cache.set(key, storageValue);
        // 如果存储数据为空,需要设置一个过期时间(300秒)
        if (storageValue == null) {
            // 必须设置过期时间,否则有被攻击的风险
            cache.expire(key, 60 * 5);
        }
        return storageValue;
    }
    return cacheValue;
}

2. 布隆过滤器

        布隆过滤器是一个非常神奇的数据结构,通过它我们可以非常方便地判断一个给定数据是否存在于海量数据中。我们需要的就是判断 key 是否合法。

        具体是这样做的:把所有可能存在的请求的值都存放在布隆过滤器中,当用户请求过来,先判断用户发来的请求的值是否存在于布隆过滤器中。不存在的话,直接返回请求参数错误信息给客户端,存在的话才会走下面的流程。

        加入布隆过滤器之后的缓存处理流程图如下。

        但是,需要注意的是布隆过滤器可能会存在误判的情况。总结来说就是: 布隆过滤器说某个元素存在,小概率会误判。布隆过滤器说某个元素不在,那么这个元素一定不在。

为什么会出现误判的情况呢? 我们还要从布隆过滤器的原理来说!

我们先来看一下,当一个元素加入布隆过滤器中的时候,会进行哪些操作:

  1. 使用布隆过滤器中的哈希函数对元素值进行计算,得到哈希值(有几个哈希函数得到几个哈希值)。

  2. 根据得到的哈希值,在位数组中把对应下标的值置为 1。

我们再来看一下,当我们需要判断一个元素是否存在于布隆过滤器的时候,会进行哪些操作:

  1. 对给定元素再次进行相同的哈希计算;

  2. 得到值之后判断位数组中的每个元素是否都为 1,如果值都为 1,那么说明这个值在布隆过滤器中,如果存在一个值不为 1,说明该元素不在布隆过滤器中。

然后,一定会出现这样一种情况:不同的字符串可能哈希出来的位置相同。 (可以适当增加位数组大小或者调整我们的哈希函数来降低概率)

二、缓存雪崩

1 什么是缓存雪崩

        缓存雪崩描述的就是这样一个简单的场景:缓存在同一时间大面积的失效,后面的请求都直接落到了数据库上,造成数据库短时间内承受大量请求。 这就好比雪崩一样,摧枯拉朽之势,数据库的压力可想而知,可能直接就被这么多请求弄宕机了。

        举个例子:系统的缓存模块出了问题比如宕机导致不可用。造成系统的所有访问,都要走数据库。

        还有一种缓存雪崩的场景是:有一些被大量访问数据(热点缓存)在某一时刻大面积失效,导致对应的请求直接落到了数据库上。

2 解决方法

针对 Redis 服务不可用的情况:

  1. 采用 Redis 集群,避免单机出现问题整个缓存服务都没办法使用。

  2. 限流,避免同时处理大量的请求。

针对热点缓存失效的情况:

  1. 设置不同的失效时间比如随机设置缓存的失效时间。

  2. 缓存永不失效。

标签:缓存,请求,数据库,Redis,布隆,雪崩,key,过滤器
From: https://blog.csdn.net/qq_62636650/article/details/137398964

相关文章

  • redis6.2.6配置文件说明
     导游Redis版本配置文件说明###UNIT(单位)###(了解)###INCLUDES(包含)###(了解)###MODULES(模块)###(了解)###NETWORK(网络)###(需记)###TLS/SSL(安全套接字)###(了解)###GENERAL(通用)###(精通)###SNAPSHOTTING(快照)###(需记)###REPLICATION(主从)###(必会)###KEYSTRACKING(键跟踪)###(了......
  • 【Redis系列】Redis安装与使用
    ......
  • LRU缓存(超详细注释)
    /***表示双向链表中的节点。*/classNode{constructor(key=0,value=0){this.key=key;//缓存条目的唯一标识符。this.value=value;//与键关联的值。this.prev=null;//引用列表中的上一个节点。this.next......
  • Redis 的主从复制、哨兵
    目录一.Redis主从复制1.介绍2.作用3.流程4.搭建Redis主从复制 安装redis修改master的Redis配置文件修改slave的Redis配置文件验证主从效果二.Redis哨兵模式1.介绍2.原理3.哨兵模式的作用4.工作流程4.1故障转移机制4.2主节点的选举5.搭......
  • redis持久化
        redis是一个基于内存的数据库,如果没有持久化的话,那么一旦服务器重启或者断电,之前的数据都会丢失(RAM)        redis的持久化有两种方式:    一种是RDB(RedisDatabase),另一种是AOF(AppendOnlyFile)RDB    是将内存中的数据快照写入快照,它......
  • 【智能排班系统】基于Redis的increment命令和lua脚本实现IP限流
    文章目录什么是IP限流?为什么需要IP限流?保护服务器资源防范恶意攻击与滥用提升用户体验IP限流方式:实现实现原理代码结构lua脚本为什么要使用lua脚本Ip限流工具类对所有接口进行限流IP限流请求过滤器SpringSecurity中配置过滤器对不经过SpringSecurity的过滤器的请求进......
  • Online_install_mem_redis.sh
    Online_install_mem_redis.sh......
  • Redis实战篇
    实战篇Redis开篇导读亲爱的小伙伴们大家好,马上咱们就开始实战篇的内容了,相信通过本章的学习,小伙伴们就能理解各种redis的使用啦,接下来咱们来一起看看实战篇我们要学习一些什么样的内容短信登录这一块我们会使用redis共享session来实现商户查询缓存通过本章节,我们会理解......
  • 在 PowerShell 中,您可以使用以下命令来管理 DNS 相关的任务以及 DNS 缓存
    在PowerShell中,您可以使用以下命令来管理DNS相关的任务以及DNS缓存:获取当前计算机的DNS客户端配置信息powershellCopyCodeGet-DnsClientGet-DnsClientInterfaceAlias       InterfaceConnectionSpecificSuffixConnectionSpecificSuffixRegi......
  • Redis中监听key过期通知
    前言正常情况下,我们是不需要监听key是否过期的,毕竟项目中key数量可能成千上万,要监听的话很耗费服务器资源。但是如果项目中key数量很少,且我们要在指定key过期时告警,这种场景下就是合适的。使用服务器开启配置redis.conf文件notify-keyspace-eventsEx默认配置为......