• 2024-11-0331.Redis开发规范与性能优化
    一、键值设计1.key名设计(1)【建议】:可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:idtrade:order:1(2)【建议】:简洁性保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:user:{uid}:friends:messages:{mid
  • 2024-10-31Redis学习:BigKey、缓存双写一致性更新策略和案例
    Redis学习:BigKey、缓存双写一致性更新策略和案例文章目录Redis学习:BigKey、缓存双写一致性更新策略和案例1.BigKey2.缓存双写一致性更新策略3.缓存双写一致性案例1.BigKey面试题MoreKey不可以使用keys*,要使用SCAN基于游标来查询所有的key通过在redis.con
  • 2024-09-25【缓存】热key和大key问题
    参考:Redis中BigKey和HotKey的检测及处理详解https://www.alibabacloud.com/blog/a-detailed-explanation-of-the-detection-and-processing-of-bigkey-and-hotkey-in-redis_598143?spm=a2796.7996630.8896513680.1.373a54b0xTX6yZRedis热点键发现及常见解决方案https://www.a
  • 2024-09-19Redis大key有什么危害?如何排查和处理?
    目录标题什么是bigkey?bigkey是怎么产生的?有什么危害?如何发现bigkey?1、使用Redis自带的--bigkeys参数来查找。2、使用Redis自带的SCAN命令3、借助开源工具分析RDB文件4、借助公有云的Redis分析服务如何处理bigkey?这个问题在面试中还是比较容易遇到的,
  • 2024-08-17Redis中Big Key该如何解决?
    目录1、BigKey的产生2、BigKey场景分析3、BigKey的危害4、检测BigKey 5、解决BigKey问题BigKey拆分(1)按时间/业务拆分(2)按哈希(Hash)拆分(3)按前缀树拆分BigKey定期清理Bigkey压缩BigKey批处理优化持久化配置6、总结 BigKey问题是指某个键(key)的值(value)
  • 2024-07-13Resid核心问题总结(三)
    什么是缓存击穿?该如何解决缓存击穿是指一个Key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个Key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个完好无损的桶上凿开了一个洞。缓存击穿的话,设置热点数据永远不过期。或者加上互斥锁就能搞定了。
  • 2024-06-19开发Prometheus的redis bigkey exporter,完善k8s下redis容器的性能监控
      好久没来博客园写技术总结了,回顾这些年的职业路径,从自动化测试到python后端到golang后端直到现在的devops,确实积累了很多心得,可惜都没时间来写写这些心得(主要是懒)。自从转为devops后确实有比较多的时间了(主要是加班少:)),看来以后还是要多写写技术总结:)。   废话不
  • 2024-06-11redis自学(46)键值设计
    Redis键值设计优雅的key结构Redis的Key虽然可以自定义,到但是最好遵循下面的几个最佳实践约定:l 遵循基本格式:[业务名称]:[数据名]:[id]l 长度不超过44字节(长度越小,占用的内存越少)l 不包含特殊字符  优点:①可读性强②避免key冲突③方便管理④更节省内存:ke
  • 2024-05-04redis实战优化二
    参考:图灵课堂缓存穿透之布隆过滤器对于恶意攻击,向服务器请求大量不存在的数据造成的缓存穿透,还可以用布隆过滤器先做一次过滤,对于不存在的数据布隆过滤器一般都能够过滤掉,不让请求再往后端发送。当布隆过滤器说某个值存在时,这个值可能不存在;当它说不存在时,那就肯定不存在。
  • 2024-04-11Redis bigkey解决方案
    什么是大key查询bigkey集群模式查看bigkeyredis-cli排查cluster模式排查大key因为clister集群模式下查询bigkey时,因为键会分散在不同的槽(slot)和不同的节点上,因此需要分别连到各个主节点进行检查,或者在命令添加-c参数首先需要查看cluster各个节点,连接其中任意一个节点执行以
  • 2024-03-21BigKey问题
    当AOF日志写入了很多的大Key,AOF日志文件的大小会很大,那么很快就会触发AOF重写机制。当AOF写回策略配置了Always策略,如果写入是一个大Key,主线程在执行fsync()函数的时候,阻塞的时间会比较久,因为当写入的数据量很大的时候,数据同步到硬盘这个过程是很耗时的。
  • 2024-02-29面试必备:一线大厂Redis缓存设计规范与性能优化
    说在前面你是否在使用Redis时,不清楚Redis应该遵循的设计规范而苦恼?你是否在Redis出现性能问题时,不知道该如何优化而发愁?你是否被面试官拷问过Redis的设计规范和性能优化而回答不出来别慌,看这篇文章就行了本文,已收录于,我的技术网站aijiangsir.com,有大厂完整面经,工作技术,架构
  • 2024-01-05Redis键值设计与BigKey处理方案
    1.优雅的key结构Redis的Key虽然可以自定义,但最好遵循下面的几个最佳实践约定:遵循基本格式:[业务名称]:[数据名]:[数据/数据id]长度不超过44字节不包含特殊字符例如:我们的登录业务,保存用户信息,其key可以设计成如下格式:优点:可读性强避免key冲突方便管理更节省内存:key是string类型,底
  • 2023-12-23【Redis】BigKey问题
    面试题海量数据里查询某一固定前缀的key生产上如何限制keys*/flushdb/flushall等危险命令以防止误删误用?MEMORYUSAGE命令用过吗?BigKey问题,多大算big?如何发现?如何删除?如何处理?BigKey你做过调优吗?惰性释放lazyfree了解过吗?MoreKey问题,生产上Redis数据库有1000万条记
  • 2023-12-20Redis7 BigKey
    1、MoreKey1.1、大数据模拟往redis插入大量数据进行测试for((i=1;i<=100*10000;i++));doecho"setk$iv$i">>/tmp/redisTest.txt;done;通过redis提供的管道--pipe命令插入100W大批量数据cat/tmp/redisTest.txt|/opt/redis-7.0.0/src/redis-cli-h127.0.0.1-p6379-a
  • 2023-11-01Redis Bigkey排查
    在处理bigkey问题可以先从一下几点入手什么是bigkey?bigkey危害?bigkey是如何产生的?如何发现bigkey?如何处理bigkey?什么是BigkeyRedisbigkey是指在Redis数据库中占用空间较大的键值对。这些键通常包含了大量的数据,可能会影响Redis的性能和内存使用。例如,在一个集合
  • 2023-08-29bigkey分析
    redis集群中存在bigkey问题概述redis集群环境查询较慢,内存使用不均匀,为了避免影响业务,我们运维这边做了集群状态的分析,排查后发现,ping丢包、延时及redis日志均无异常,redis集群并未切换,但是慢日志中存在部分key值查询较为耗时,结合redis日常使用情况,我们决定对该集群做bigkey分析。问
  • 2023-08-15Redis Bigkey排查
    在处理bigkey问题可以先从一下几点入手什么是bigkey?bigkey危害?bigkey是如何产生的?如何发现bigkey?如何处理bigkey?什么是BigkeyRedisbigkey是指在Redis数据库中占用空间较大的键值对。这些键通常包含了大量的数据,可能会影响Redis的性能和内存使用。例如
  • 2023-06-26转载: redis中的bigkey问题
    reference:  https://www.modb.pro/db/459810 什么是bigkeybigkey就是rediskey/value体系中的大value问题。我们知道redis的底层数据存储结构中,有多种数据结构的实现。String:简单动态字符串List:双向链表、压缩列表 Hash:哈希表、压缩列表 SortedSet:跳表、压
  • 2023-06-212023-06-21:redis中什么是BigKey?该如何解决?
    2023-06-21:redis中什么是BigKey?该如何解决?答案2023-06-21:什么是bigkeybigkey是指存储在Key-Value数据库中的键对应的值所占用的内存空间较大。举个例子,如果值是字符串类型,它可以达到最大512MB的存储空间;如果值是列表类型,最多可以存储2^32-1个元素,即4294967295个元素。根据数
  • 2023-06-212023-06-21:redis中什么是BigKey?该如何解决?
    2023-06-21:redis中什么是BigKey?该如何解决?答案2023-06-21:什么是bigkeybigkey是指存储在Key-Value数据库中的键对应的值所占用的内存空间较大。举个例子,如果值是字符串类型,它可以达到最大512MB的存储空间;如果值是列表类型,最多可以存储2^32-1个元素,即4294967295个元素。根
  • 2023-03-24Redis中的BigKey问题:排查与解决思路
    本文已收录至Github,推荐阅读
  • 2023-03-24Redis中的BigKey问题:排查与解决思路
    本文已收录至Github,推荐阅读
  • 2023-03-23一次线上事故,导致公司损失400万
    一、顺丰高级开发工程师在线执行了Redis危险命令导致某公司损失400万最近安全事故濒发啊,前几天发生了《顺丰高级运维工程师的删库事件》,今天又看到了PHP工程师在线执
  • 2023-03-17Redis缓存经典问题:缓存雪崩、击穿、穿透、双写一致性、并发竞争、热点key、BigKey
     一. 缓存雪崩1. 含义同一时刻,大量的缓存同时过期失效。2. 产生原因和后果(1). 原因:由于开发人员经验不足或失误,大量热点缓存设置了统一的过期时间。(2).