首页 > 其他分享 >如何解决缓存穿透、缓存击穿、缓存雪崩

如何解决缓存穿透、缓存击穿、缓存雪崩

时间:2023-11-12 11:31:44浏览次数:28  
标签:缓存 击穿 Redis userList 雪崩 数据 id user

SpringBoot在缓存方面也提供了一些优秀的解决方案,帮助我们解决缓存穿透、缓存击穿、缓存雪崩等问题。

一、Redis缓存

Redis是一个高性能的键值对存储数据库,也是一个基于内存的数据结构存储系统,同时也支持持久化数据存储。Redis提供了丰富的数据结构,包括字符串、哈希、列表、集合、有序集合等。在缓存方面,Redis最大的优点就是支持数据的持久化存储,同时也具有很好的性能和扩展性。

二、缓存穿透

缓存穿透是指查询一个不存在的数据,由于缓存中没有数据,请求会直接穿透到数据库中,从而引起数据库的压力过大,严重影响系统的性能。解决缓存穿透的常用方法有两种:

如何解决缓存穿透、缓存击穿、缓存雪崩_数据

  1. 布隆过滤器

布隆过滤器是一种高效的数据结构,可以判断一个元素是否存在于一个集合中,同时也可以减轻数据库的压力。在使用布隆过滤器的时候,首先将所有的数据hash到一个位图中,如果查询的数据在位图中不存在,那么直接返回不存在,从而避免了对数据库的查询操作。

在SpringBoot中,我们可以使用Guava提供的布隆过滤器实现缓存穿透的解决方案。例如:

@Bean  
public BloomFilter bloomFilter() {  
    return BloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()), 100000, 0.001);  
}  
  
@Override  
public User getUserById(String id) {  
    // 先从布隆过滤器中查询是否存在  
    if (!bloomFilter.mightContain(id)) {  
        return null;  
    }  
  
    // 如果存在,则查询Redis中的缓存数据  
    User user = redisTemplate.opsForValue().get(id);  
  
    if (user == null) {  
        // 如果Redis中不存在,则查询数据库  
        user = userDao.getUserById(id);  
        if (user != null) {  
            // 将数据缓存到Redis中  
            redisTemplate.opsForValue().set(id, user);  
        } else {  
            // 如果数据库中也不存在,则将该id加入到布隆过滤器中  
            bloomFilter.put(id);  
        }  
    }  
  
    return user;  
}

在上面的代码中,首先通过布隆过滤器判断请求的数据是否存在于集合中,如果不存在,则直接返回null,从而避免了对数据库的查询操作。

  1. 空对象缓存

另外一种解决缓存穿透的方法是采用空对象缓存的方式,即当查询的数据不存在时,将一个空对象缓存到Redis中。这样下次查询同样不存在的数据时,就可以直接从Redis中获取到一个空对象,从而避免了对数据库的查询操作。

在SpringBoot中,我们可以通过设置Redis缓存的过期时间来实现空对象缓存的解决方案。例如:

@Override  
public User getUserById(String id) {  
    User user = redisTemplate.opsForValue().get(id);  
    if (user == null) {  
        // 如果Redis中不存在,则查询数据库  
        user = userDao.getUserById(id);  
        if (user != null) {  
            // 将数据缓存到Redis中  
            redisTemplate.opsForValue().set(id, user);  
        } else {  
            // 如果数据库中也不存在,则将一个空对象缓存到Redis中,设置过期时间防止缓存雪崩  
            redisTemplate.opsForValue().set(id, new User(), 5, TimeUnit.MINUTES);  
        }  
    }  
    return user;  
}

在上面的代码中,当查询的数据不存在时,我们将一个空对象缓存到Redis中,并设置了5分钟的过期时间。这样即使缓存中的数据被清空了,也不会引起数据库的压力过大,从而避免了缓存穿透。

三、缓存击穿

缓存击穿是指一个非常热点的数据在缓存中过期之后,正好在这个时间段内有大量的请求访问该数据,这些请求会直接穿透到数据库中,从而引起数据库的压力过大,严重影响系统的性能。解决缓存击穿的常用方法有两种:

如何解决缓存穿透、缓存击穿、缓存雪崩_缓存_02

  1. 设置热点数据永不过期

一种解决缓存击穿的方法是将热点数据设置为永不过期,从而避免缓存失效的问题。但是这种方法存在一个缺点,就是热点数据可能会被修改,如果不及时更新缓存,可能会导致缓存中的数据与实际数据不一致。

在SpringBoot中,我们可以通过设置Redis缓存的过期时间来实现设置热点数据永不过期的解决方案。例如:

@Override  
public User getHotUserById(String id) {  
    User user = redisTemplate.opsForValue().get(id);  
    if (user == null) {  
        // 如果Redis中不存在,则查询数据库  
        user = userDao.getHotUserById(id);  
        if (user != null) {  
            // 将数据缓存到Redis中,设置过期时间为1小时  
            redisTemplate.opsForValue().set(id, user, 1, TimeUnit.HOURS);  
        }  
    }  
    return user;  
}

在上面的代码中,我们将热点数据的过期时间设置为1小时,从而避免了缓存击穿的问题。但是这种方法存在一个缺点,就是如果在1小时内热点数据被修改了,缓存中的数据就会失效,需要重新查询数据库。

  1. 延迟缓存双写策略

另外一种解决缓存击穿的方法是采用延迟缓存双写策略,即在缓存中查询数据时,如果数据不存在,不立即去数据库中查询,而是先在缓存中写入一个空对象,然后再去数据库中查询数据并更新缓存,从而避免了缓存击穿的问题。

在SpringBoot中,我们可以通过设置Redis缓存的过期时间来实现延迟缓存双写策略的解决方案。例如:

@Override  
public User getHotUserById(String id) {  
    User user = redisTemplate.opsForValue().get(id);  
    if (user == null) {  
        // 如果Redis中不存在,则写入一个空对象  
        redisTemplate.opsForValue().set(id, new User(), 5, TimeUnit.MINUTES);  
  
        // 去数据库中查询数据并更新缓存  
        user = userDao.getHotUserById(id);  
        if (user != null) {  
            redisTemplate.opsForValue().set(id, user, 1, TimeUnit.HOURS);  
        }  
    }  
    return user;  
}

在上面的代码中,我们先在缓存中写入一个空对象,并设置了5分钟的过期时间,然后再去数据库中查询数据并更新缓存。这样即使在查询数据的过程中,大量请求访问了该数据,也不会直接穿透到数据库中,从而避免了缓存击穿的问题。

四、缓存雪崩

缓存雪崩是指当缓存中的大量数据在同一时间失效,导致大量请求直接访问数据库,从而引起数据库的压力过大,严重影响系统的性能。解决缓存雪崩的常用方法有三种:

如何解决缓存穿透、缓存击穿、缓存雪崩_缓存_03

  1. 缓存数据的随机过期时间

一种解决缓存雪崩的方法是在缓存数据的过期时间上增加随机因素,从而避免大量数据在同一时间失效的情况。在SpringBoot中,我们可以通过设置Redis缓存的过期时间和一个随机值来实现这个解决方案。例如:

@Override  
public List<User> getUserList() {  
    List<User> userList = redisTemplate.opsForValue().get("userList");  
    if (userList == null) {  
        // 如果Redis中不存在,则查询数据库  
        userList = userDao.getUserList();  
        if (userList != null && userList.size() > 0) {  
            // 将数据缓存到Redis中,并增加随机的过期时间  
            int random = new Random().nextInt(600) + 600;  
            redisTemplate.opsForValue().set("userList", userList, random, TimeUnit.SECONDS);  
        }  
    }  
    return userList;  
}

在上面的代码中,我们先在缓存中查询数据,如果不存在,则去数据库中查询,并将数据缓存到Redis中,并增加随机的过期时间。这样即使大量数据在同一时间失效,也不会全部直接访问数据库,从而避免了缓存雪崩的问题。

2. 预热缓存

另外一种解决缓存雪崩的方法是在系统启动时预热缓存,将系统中的热点数据提前加载到缓存中,从而避免了大量请求同时访问数据库的情况。在SpringBoot中,我们可以通过编写一个启动时执行的方法,来实现预热缓存的解决方案。例如:

@Component  
public class CacheInit implements CommandLineRunner {  
    @Autowired  
    private UserDao userDao;  
  
    @Autowired  
    private RedisTemplate<String, Object> redisTemplate;  
  
    @Override  
    public void run(String... args) throws Exception {  
        List<User> userList = userDao.getUserList();  
        if (userList != null && !userList.isEmpty()) {  
            // 将数据缓存到Redis中,并设置过期时间为1小时  
            for (User user : userList) {  
                redisTemplate.opsForValue().set(user.getId(), user, 1, TimeUnit.HOURS);  
            }  
        }  
    }  
}

在上面的代码中,我们在系统启动时执行run方法,在该方法中先去数据库中查询热点数据,然后将数据缓存到Redis中,并设置过期时间为1小时。这样即使缓存中的数据在同一时间失效,也能够保证系统中的热点数据始终被缓存,从而避免了缓存雪崩的问题。

3. 使用分布式锁

最后一种解决缓存雪崩的方法是使用分布式锁,从而避免大量请求同时访问数据库的情况。在SpringBoot中,我们可以通过Redisson来实现分布式锁的解决方案。例如:

@Override  
public List<User> getUserList() {  
    List<User> userList = redisTemplate.opsForValue().get("userList");  
    if (userList == null) {  
        // 如果Redis中不存在,则尝试获取分布式锁  
        RLock lock = redissonClient.getLock("userListLock");  
        try {  
            // 尝试加锁,并设置锁的过期时间为5秒  
            boolean success = lock.tryLock(5, TimeUnit.SECONDS);  
            if (success) {  
                // 如果获取到了锁,则查询数据库并将数据缓存到Redis中  
                userList = userDao.getUserList();  
                if (userList != null && !userList.isEmpty()) {  
                    redisTemplate.opsForValue().set("userList", userList, 1, TimeUnit.HOURS);  
                }  
            }  
        } catch (InterruptedException e) {  
            e.printStackTrace();  
        } finally {  
            // 释放锁  
            lock.unlock();  
        }  
    }  
    return userList;  
}

在上面的代码中,我们先在缓存中查询数据,如果不存在,则尝试获取分布式锁,如果获取到了锁,则查询数据库并将数据缓存到Redis中。如果没有获取到锁,则等待一段时间再尝试获取锁,这样即使大量请求同时访问系统,也能够保证只有一个请求去查询数据库并缓存数据,从而避免了缓存雪崩的问题。

总结

缓存穿透、缓存击穿和缓存雪崩,这些问题会导致系统性能下降、数据库负载过高等问题,在实际应用中,需要根据系统的实际情况和性能要求来选择合适的机制,也可以采用多种机制来解决缓存问题。


标签:缓存,击穿,Redis,userList,雪崩,数据,id,user
From: https://blog.51cto.com/u_14299064/8327464

相关文章

  • 多级缓存
    传统缓存的问题传统的缓存策略一般是请求到达Tomcat后,先查询Redis,如果未命中则查询数据库,存在下面的问题:●请求要经过Tomcat处理,Tomcat的性能成为整个系统的瓶颈●Redis缓存失效时,会对数据库产生冲击多级缓存方案多级缓存就是充分利用请求处理的每个环节,分别添加缓存,减轻Tomcat......
  • 文件缓存的读写
     文件系统的读写,其实就是调用系统函数read和write。下面的代码就是read和write的系统调用,在内核里面的定义。SYSCALL_DEFINE3(read,unsignedint,fd,char__user*,buf,size_t,count){structfdf=fdget_pos(fd);......loff_tpos=file_pos_read(f.file)......
  • ubuntu 20.04运行内存(缓存)定时清理
    ubuntu 20.04运行内存(缓存)定时清理数据处理过程,buffer/cache占用过大,降低了运行速度解决方法定时释放缓存缓存释放脚本vimclear_caches.sh输入echo"开始清除缓存"sync;sync;syncsleep20echo1>/proc/sys/vm/drop_cachesecho2>/proc/sys/vm/drop_cachesecho......
  • linux内核 快速分片,技术|Linux slabtop命令——显示内核片缓存信息
    Linux内核需要为临时对象如任务或者设备结构和节点分配内存,缓存分配器管理着这些类型对象的缓存。现代Linux内核部署了该缓存分配器以持有缓存,称之为片。不同类型的片缓存由片分配器维护。本文集中讨论slabtop命令,该命令显示了实时内核片缓存信息。1.命令用法:该命令用起来很简单......
  • 击穿的力量:灵犀通信背后的秘密
    华为Mate60系列从9月份上市以来,持续热销,至今还是一机难求。据BCI的数据,W37-W40期间华为的手机销量同比增速分别高达91%、46%、83%、95%,这也预示着华为在Mate60系列的带动下强势回归,正在重写市场格局。华为之所以可以这么猛地回归,因为多个黑科技给用户带来的颠覆性体验,能够真正打动......
  • Spring 缓存注解这样用,太香了!
    作者最近在开发公司项目时使用到Redis缓存,并在翻看前人代码时,看到了一种关于@Cacheable注解的自定义缓存有效期的解决方案,感觉比较实用,因此作者自己拓展完善了一番后分享给各位。Spring缓存常规配置SpringCache框架给我们提供了@Cacheable注解用于缓存方法返回内容。但......
  • Keepalived 提高吞吐量、负载均衡 ip_hash、负载均衡 url_hash 与 least_conn、Nginx
    Keepalived提高吞吐量keepalived:设置长连接处理的数量proxy_http_version:设置长连接http版本为1.1proxy_set_header:清除connectionheader信息upstreamtomcats{ #server192.168.1.173:8080max_fails=2fail_timeout=1s; server192.168.1.190:8080; #server......
  • 小景的Dba之路--压力测试和Oracle数据库缓存
    小景最近在做系统查询接口的压测相关的工作,其中涉及到了查询接口的数据库缓存相关的内容,在这里做一个汇总和思维发散,顺便简单说下自己的心得:针对系统的查询接口,首次压测执行的时候TPS较低,平均响应时间较高,后续的查询中,TPS和平均相应时间较第一次比有较为明显的提升,这里考虑到时Or......
  • 【Cpp 基础】主动刷新 cout 缓存区
    使用额外的“刷新”功能(<<flush)来确保根据我们的要求显示输出。//C++程序演示flush函数的使用#include<iostream>#include<thread>#include<chrono>usingnamespacestd;intmain(){ for(inti=1;i<=5;++i) { cout<<i<<""<&......
  • Asp.Net Core webapi+net6 使用资源筛选器(过滤器) 做缓存
    写一个特性类,用来做标记[AttributeUsage(AttributeTargets.Method)]//只对方法有效publicclassResourceFilterAttribute:Attribute{}我这里使用了MemoryCache来做缓存,也可以使用字典来做,但一定要加上static,否则字典每一次请求都会new一个实例,缓存的东西就丢了private......