发现并处理Redis的大Key和热Key

大Key和热Key的定义

大白话大Key和热Key

大Key：占用内存比较大的key

热Key：其实热key问题说来也很简单，就是瞬间有几十万的请求去访问redis上某个固定的key，从而压垮缓存服务的情情况。
也是有不少这样的例子。微博举例子，比如XX明星结婚。那么关于XX明星的Key就会瞬间增大，就会出现热数据问题。

大Key和热Key引发的问题

大Key和热Key产生的原因

未正确使用Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：

• 大key
  • 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；
  • 业务上线前规划设计不足，没有对Key中的成员进行合理的拆分，造成个别Key中的成员数量过多；
  • 未定期清理无效数据，造成如HASH类型Key中的成员持续不断地增加；
  • 使用LIST类型Key的业务消费侧发生代码故障，造成对应Key的成员只增不减。
• 热key
  • 预期外的访问量陡增，如突然出现的爆款商品、访问量暴涨的热点新闻、直播间某主播搞活动带来的大量刷屏点赞、游戏中某区域发生多个工会之间的战斗涉及大量玩家等。

快速找出大Key和热Key行

之前也有了解过京东的一个开源项目可以进行热key的一个监控

https://gitee.com/jd-platform-opensource/hotkey

介绍

对任意突发性的无法预先感知的热点请求，包括并不限于热点数据（如突发大量请求同一个商品）、热用户（如爬虫、刷子）、热接口（突发海量请求同一个接口）等，进行毫秒级精准探测到。 然后对这些热数据、热用户等，推送到该应用部署的所有机器JVM内存中，以大幅减轻对后端数据存储层的冲击，并可以由客户端决定如何使用这些热key（譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值）。 这些热key在整个应用集群内保持一致性。

核心功能：热数据探测并推送至集群各个服务器

适用场景：

1 mysql热数据本地缓存

2 redis热数据本地缓存

3 黑名单用户本地缓存

4 爬虫用户限流

5 接口、用户维度限流

6 单机接口、用户维度限流

7 集群用户维度限流

8 集群接口维度限流

优化大Key与热Key

Guava的LoadingCache示例

import com.google.common.cache.CacheBuilder;
import com.google.common.cache.CacheLoader;
import com.google.common.cache.LoadingCache;

import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;

public class LocalCacheForHotKey {

    public static void main(String[] args) {
        // 创建一个本地缓存
        LoadingCache<String, String> cache = CacheBuilder.newBuilder()
               .maximumSize(1000) // 设置缓存的最大容量
               .expireAfterWrite(10, TimeUnit.MINUTES) // 设置数据写入 10 分钟后过期
               .build(new CacheLoader<String, String>() {
                    @Override
                    public String load(String key) {
                        // 从实际的数据源加载数据，如果缓存中没有
                        return loadDataFromSource(key);
                    }
                });

        // 模拟获取热 Key 的值
        try {
            String value = cache.get("hotKey");
            System.out.println("Value for hotKey: " + value);
        } catch (ExecutionException e) {
            e.printStackTrace();
        }
    }

    public static String loadDataFromSource(String key) {
        // 模拟从数据源加载数据的逻辑
        return "Data for " + key;
    }
}

参考：https://help.aliyun.com/zh/redis/user-guide/identify-and-handle-large-keys-and-hotkeys