Redis7 BigKey

1、MoreKey

1.1、大数据模拟

往redis插入大量数据进行测试
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;
通过redis提供的管道--pipe命令插入100W大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

1.2、keys *

1.3、如何限制keys *

1.4、scan遍历

SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。
SCAN 返回一个包含两个元素的数组， 
第一个元素是用于进行下一次迭代的新游标， 
第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。
之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

2、BigKey

2.1、多大的算BigKey

string是value，最大512MB，但是>=10KB就是bigkey

list、hash、set和zset个数超过5000就是bigkey
list：一个列表最多可以包含2^32-1个元素(4294967295，每个列表超过40亿个元素)
hash：redis中每个hash可以存储2^32-1键值对(40多亿)
set：集合中最大的成员数为2^32-1(4294967295，每个集合可存储40多亿个成员)

2.2、危害

内存不均，集群迁移困难
超时删除，大key删除作梗
网络流量阻塞

2.3、如何产生

社交类，粉丝列表逐步递增
汇总统计，经年累月的积累

2.4、如何发现

redis-cli --bigkeys
优点
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小

不足
想查询大于10kb的所有key，--bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数
redis-cli --bigkeys -a 111111 
redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

memory usage 键

2.5、如何删除

string

一般用del，如果过于庞大unlink

hash

使用hscan每次获取少量field-value，再使用hdel删除每个field

list

使用ltrim渐进式逐步删除，直到全部删除完成

set

使用sscan每次获取部分元素，再使用srem命令删除每个元素

zset

使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素

3、BigKey生产调优

redis.conf配置文件LAZY FREEING相关说明

阻塞和非阻塞删除命令

优化配置