首页 > 数据库 >浅谈Redis大Key与热Key

浅谈Redis大Key与热Key

时间:2022-12-11 17:01:06浏览次数:81  
标签:缓存 浅谈 Redis redis 命令 Key 热点

如何定义大 Key 和 热 Key

下述例子中的具体数值仅供参考,在实际的业务中,需要根据 Redis 的实际业务场景进行综合判定。

如何定义大 Key

通常以 Key 的大小和Key中成员的数量来综合判定,例如:

  • Key 本身的数据量过大:一个 String 类型的 Key,它的值为 5MB。
  • Key 中的成员过多:一个 ZSET 类型的 Key,它的成员数量为 10,000个。
  • Key 中成员的数据量过大:一个 Hash 类型的 Key,它的成员数量虽然只有 1,000个,但这些成员的 Value(值)总大小为 100MB。

如何定义热 Key

通常以其接收到的 Key 被请求频率来判定,例如:

  • QPS 集中在特定的 Key:Redis 实例的总QPS为 10,000, 而其中一个 Key 的每秒访问量达到了 7000。
  • 带宽利用率集中在特定的 Key:对于一个拥有上千个成员且总大小为 1MB 的 HASH Key,每秒发送大量的 HGETALL 请求。
  • CPU使用时间占比集中在特定的 Key:对于一个拥有数万个成员的 Key(ZSET类型),每秒发送大量的 ZRANGE 请求。

大 Key 和 热 Key 产生的原因

未正确使用 Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大 Key 与 热 Key。

  • 大 Key

    • 在不适用的场景下使用 Redis,易造成 Key 的 Value 过大,如使用 String 类型的 Key 存放大体积的二进制文件型数据。
    • 业务上线前规划设计不足,没有对 Key 中成员进行合理的拆分,造成个别 Key中的成员数过多。
    • 未定期清理无效数据,造成如 HASH 类型 Key 中的成员持续地增加。
    • 使用 LIST 类型 Key 的业务消费側发生代码故障,造成对应 Key 的成员只增不减。
  • 热 Key

    • 预期外的访问量陡增,如突然出现的爆款商品、访问量暴涨的新闻热点、直播间某主播搞活动带来的大量刷屏点赞等。

大 Key 和 热 Key 有哪些危害

大 Key 的危害

  • 内存不均:单 Value 较大时候,可能会导致节点之间内存使用不均匀,导致负载不均衡。
  • 阻塞请求:redis 为单线程,单 Value 较大读写需要较长的处理时间,会阻塞后续的请求处理。
  • 阻塞网络:单 Value 较大时会占用服务器网卡较多带宽,可能导致出口带宽打满,影响该服务器傻姑娘单其它 Redis 实例或应用。

热 Key 的危害

  • CPU飙升:可能会导致 CPU 使用率飙升到 100%,影响服务器的稳定性和可用性。
  • 阻塞网络:流量集中,达到物理网卡上限,影响其它 Key 的访问(大 Key 也可能导致该问题)
  • 缓存击穿:请求过多,缓存分片被打垮,不能通过扩容解决,且不能发挥集群多分片的优势。

如何发现大 Key 和 热 Key

发现大 key 和热 key 的手段主要有一下几种,1.使用 redis 原生自带的方式;2. 使用开源工具;3. 业务层进行统计分析;4. 代理层进行统计分析。下面我们来逐个进行分析。

通过原生自带的方式

通过 redis-cli 的 bigkeys 和 hotkeys 参数查找大 Key 和热 Key

redis 原生提供了一些参数来统计 big key 和 hot key,比如: redis-cli -- bigkeys 命令来统计大 key。

  • 优点
    • 方便、快速、安全
  • 缺点
    • 分析结果不可定制化,准确性和时效性差。比如 bigkeys 只能返回 Key 的整体统计信息与每个数据类型中 Top1 的大 Key,big Key 仅能分析六种数据类型(STRING、LIST、HASH、ZSET、STREALM)。如果我们只想分析 STRING 类型的大 Key 或者找出成员数量超过 10 个的 HASH Key,则 bigkeys 命令无法直接实现该类需求。
通过 redis-cli 的内置命令查找大 Key 和热 Key

根据大 key 和热 key 的定义,我们也可以直接使用 redis 提供的一些命令进行分析,比如对于 STRING 类型:执行 STRLEN 命令,返回对应 Key 的 Value 的字节数;对于 LIST 类型:执行 LLEN 命令,返回对应 Key 的列表长度等。

  • 优点
    • 方便、对线上服务影响小。
  • 缺点
    • 返回的 Key 序列化长度并不等同于它在内存空间中的真实长度(因为redis存储的是一个个对象,而不仅仅是value),因此不够准确,仅可作为参考。
通过 redis-cli 的 MONITOR 查找热 Key

Redis 的 MONITOR 命令能够忠实打印出 Redis 中的所有请求(类似 MySQL 的 general log),包括时间信息、Client 信息、命令以及 Key 信息。在发生紧急情况时,可以通过短暂执行 MONITOR 命令并将返回信息输入至文件,在关闭 MONITOR 命令后,对文件中请求进行归类分析,找出这段时间中的热 Key。由于 MONITOR 命令对 Redis 的性能消耗较大,非特殊情况不推荐使用 MONITOR 命令

  • 优点
    • 方便、安全
  • 缺点
    • 会占用 CPU、内存、网络资源、实效性和准确性较差。

通过开源工具

除了使用 redis 原生自带的参数或命令外,我们还可以使用一些开源工具对 rdb 文件进行解析统计。比如可以使用 Redis-rdb-tools,它是通过 Python 进行编写,支持定制化分析 Redis RDB 快照的开源工具。可以根据自己的精细化需求,全面地分析 Redis 实例中所有 Key 的内存占用情况,同时也支持灵活地分析查询。

  • 优点
    • 支持定制化分析,对线上服务无影响。
  • 缺点
    • 实效性差,RDB 文件较大时耗时较长。

客户端统计分析

除了在 redis 側进行分析统计,也可以在业务側对热 Key 进行统计,比如在 Redis 的 SDK 中封装相应的逻辑,在业务层增加对 Redis 的访问进行记录并异步汇总分析。

  • 优点
    • 可准切并及时地定位热 Key
  • 缺点
    • 业务代码复杂度的增加,同时可能会降低一些客户端性能。

代理层统计分析

除了在 Redis 服务侧,业务側进行统计分析,部分云厂商在售卖它们的 Redis 产品时,一般都会提供代理(Proxy), 用于集群模式下的读写分离等功能,当然不止这一个功能,比如 Ali 的云数据库 Redis 产品,它的 Proxy 还能对热 Key 进行分析统计,并且进行缓存,这样可以降低 Redis 服务端的访问压力。其它云厂商也纷纷都有自己的代理。

  • 优点
    • 对业务代码无侵入
    • 对线上服务无影响,甚至可以降低服务端的压力
  • 缺点
    • 一般只有云厂商才提供,不具有普遍性。
    • 代理层缓存的 Key 的查询结果在有效时间内不会更新,需要业务侧允许一段时间的缓存不一致
    • 统计不是十分准确,每一个 Proxy 只能统计自己的热 Key。

如何解决大 Key 热 Key

处理大 Key

  • 对大 Key 进行拆分
  • 对大 Key 进行清理
  • 监控 Redis 的内存水位
  • 对过期数据进行定期清理

处理热 Key

  • 在集群模式中对热 Key 进行复制
  • 使用读写分离架构
  • 代理层的查询缓存(比如Ali的 QueryCache)

业界采用的一些定制化解决方案

有赞采用的方案

有赞有自己的 TMC, 它是一个缓存解决方案,用于帮助应用层解决缓存使用过程中出现的热点访问问题。主要是通过增加本地缓存来降低对下游缓存服务的冲击。

美团采用的方案

美团有自己的 KV 存储服务 Squirrel。它在节点内会对每个请求 Key 进行统计,当满足热点 Key 时,对该热点 Key 进行流控,同时检控服务会周期性的去所有 Redis 上查询统计到的热点 Key,如果有热点 Key,监控服务就会把热点 Key 所在 Slot 上报到迁移服务。迁移服务这时会把热点主从节点加到这个集群中,然后把热 Slot 迁移到这个热点主从上,因为热点主从上只有热点 Slot 的请求,所以热点 Key 的处理能力得到了大幅提升。通过这样的设计,我们可以做到实时的热点监控,并及时通过流控去止损;通过热点迁移,我们能做到自动的热点隔离和快速的容量扩充

参考资料

  1. 阿里云数据库Redis
  2. 美团万亿级 KV 存储架构与实践
  3. 有赞透明多级缓存解决方案TMC

标签:缓存,浅谈,Redis,redis,命令,Key,热点
From: https://www.cnblogs.com/ssezhangpeng/p/16973897.html

相关文章

  • 持久化的配置都不知道,也敢说精通Redis?
    前言所谓持久化可以简单理解为将内存中的数据保存到硬盘上存储的过程。持久化之后的数据在系统重启或者宕机之后依然可以进行访问,保证了数据的安全性。文末有福利。Re......
  • Spring Boot 访问Redis的三种方式
    前言最近在极客时间上面学习丁雪丰老师的《玩转Spring全家桶》,其中讲到访问Redis的方式,我专门把他们抽出来,在一起对比下,体验一下三种方式开发上面的不同,分别是这三种方......
  • redis-配置开机启动
    开机启动方式可以配置多种,第一种最简单的,SYSTEMCTL方式为推荐方式。1、/etc/rc.local文件中配置#vim/etc/rc.local#打开文件/usr/local/redis/bin/redis-server/et......
  • 【Redis场景1】用户登录注册
    细节回顾:关于cookie和session不熟悉的朋友;建议阅读该博客:https://www.cnblogs.com/ityouknow/p/10856177.html执行流程:在单体模式下,一般采用这种模式来存储,传递、认证......
  • springboot 整合使用redis发布订阅功能
    在Java中有3种流程控制结构:顺序结构、选择结构、循环结构。顺序结构顺序结构是指程序从上向下依次执行每条语句的结构,中间没有任何的判断和跳转。选择结构选择结构是根据条......
  • 如何解决 [email protected] permission denied (publickey). fatal could not read from
    出现这个问题是你电脑的本地没有去生成密钥,并且没有将生成的公钥设置在github上,所以会出现这样的问题。解决办法的链接:https://juejin.cn/post/7026188300218007560。......
  • redis目录中的重要文件
    ......
  • 问题解决系列:io.lettuce.core.RedisCommandExecutionException_ CLUSTERDOWN
    问题场景程序调用​​redis​​集群,总是间歇性地提示报错,报错提示如下:org.springframework.data.redis.RedisSystemException:Errorinexecution;nestedexceptionisio......
  • Linux安装Redis
    安装Redis依赖yuminstall-ygcctcl上传安装包并解压安装包下载地址 ​​https://redis.io/download/​​tar-zxvfredis-6.2.6.tar.gzcdredis-6.2.6编译make&&mak......
  • Redis 利用 incr 和 expire 来限流, 并发导致过期时间失效问题
    当某一个接口需要限流时,可以采用redis的incr来递增,记录访问次数,以及expire来设置失效时间.大概的代码如下:r=redis.Redis.connect()key="linyk3"query_t......