首页 > 数据库 >【Redis】Redis中字典结构

【Redis】Redis中字典结构

时间:2022-10-07 10:00:39浏览次数:54  
标签:rehash Redis ht 键值 哈希 字典 ### 结构

Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value) ###1.字典的实现

说白了,基本上就是跟Java中的HashMap一样一样的

###1.1 哈希表

typedef struct dictht{
//哈希表数组 数组中的每个元素都指向 dict.h/dictEntry结构的指针,
//每个dictEntry结构保存着一个键值对
dictEntry **table;
//哈希表大小 也就是 table的数组大小
unsigned long size;
//哈希表大小掩码,用于计算索引值;它总是等于size-1
unsigned long sizemask;
//该哈希表已有节点的数量
unsigned long used;
}dictht;

###1.2 哈希表节点

typedef struct dictEntry{
//键
void *key;
// 值 这个值可以是一个指针,或者一个uint64_t整数,又或者是一个int64_t整数
union{
void *val;
unit64_t u64;
int64_t s64;
} v;
// 指向下个哈希表节点 ,行程链表;
//这个指针可以将多个哈希值相同的键值对链接在一起,来解决键冲突问题
struct dictEntry *next;

}dictEntry;

###1.3 字典

typedef struct dict{
//类型特定函数
dictType *type;
//私有数据
void *privdata;
//哈希表
dictht ht[2];
//rehash 索引 当rehash不在进行时,值为-1
int trehashidx;
}dict;

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下只是用ht[0]哈希表,ht[1]哈希表只会在对ht[0]进行rehash时使用。 trehashidx属性记录了当前rehash的进度。

###解决键冲突

Redis哈希表使用链地址法来解决键冲突的! ###Rehash的步骤

1). 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(就是 ht[0].used属性值)

如果是扩展操作, 那么ht[1]的大小为第一个大于等于 ht[0].used2 并且是 2的n次方的数 例如 ht[0].used=10 那么102=20; 找出2的n次方中刚好大于等于20的那个数就行了,2的4次方是16 2的5次方是32 ,那么这个数就是32. 如果是收缩操作,那么ht[1]的大小为第一个大于等于 ht[0].used 并且是 2的n次方的数 例如 ht[0].used=10 找出2的n次方中刚好大于等于10的那个数就行了,2的3次方是8 2的4次方是16 那么这个数就是16

2)将保存在ht[0]中的所有键值对rehash到ht[1]上面。 3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(迁移的意思是从ht[0]移到ht[1]).这个时候ht[0]已经是一个空表了,释放掉ht[0],然后将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备 ###哈希表的扩展与收缩

什么时候会自动对哈希表执行扩展操作呢 ?

服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1. 服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5. 其中哈希表负载因子 load_factor = ht[0].used / ht[0]size 因为BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统采用写时复制(copy-on-write)技术来优化子进程的使用效率。所以提供了复杂因子,从而尽可能避免在子进程存在期间就行哈希表的扩展操作。

当哈希表的负载因子小于0.1 会自动开始对哈希表的收缩操作 ###渐进式rehash

为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面所有键值对rehash到ht[1],而是分多次、渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]. 渐进式rehash步骤:

为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表 在自动中维持一个索引计数器变量 rehashidx,并将它的值设置为0,表示rehash工作正式开始。 在rehash期间,每次对字典执行 增删改查 时候,程序除了这些操作以外,还会顺带将ht[0]哈希表再rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性曾加一 做一次增删改查操作,就从索引为rehash的数组去做一次迁移; 相当于吧rehash所需要的计算工作均摊到了对字典的每一次增删改查上面,从而避免了集中式的rehash带来的庞大计算量

###渐进式rehash执行期间哈希表的操作

在rehash期间,字典会同时使用ht[0]和ht[1]两个哈希表,所以再rehash期间,字典的 删改查都会在两个哈希表上进行; 但是新增的话只会在ht[1]里面进行; ###redis字典是如何进行rehash的? 数据量那么大的情况下怎么保证rehash不会影响性能 redis是利用了渐进式的rehash方式来均摊了rehash这个过程,每一次增删改查都是一个rehash;

标签:rehash,Redis,ht,键值,哈希,字典,###,结构
From: https://blog.51cto.com/u_15773567/5734230

相关文章

  • spring boot 整合 redis
    springboot整合redispom.xmlmaven依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifa......
  • redis 主从复制
    redis主从配置只需要配置从库,redis默认本身是主库查看当前库的信息>inforeplication#查看当前库的信息#Replicationrole:master#角色connected_slaves:......
  • Redis实现布隆过滤器解析
    布隆过滤器原理介绍【1】概念说明1)布隆过滤器(BloomFilter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用......
  • 结构化 SQL 生成器
    https://github.com/liyupi/sql-generator在线使用:http://sql.yupi.icu/项目介绍视频:https://www.bilibili.com/video/BV1qa411J7vh/......
  • 【数据结构和算法】LeetCode,初级算法-16验证回文串
    截止到目前我已经写了600多道算法题,其中部分已经整理成了pdf文档,目前总共有1000多页(并且还会不断的增加),大家可以免费下载下载链接:​​https://pan.baidu.com/s/1hjwK0ZeRxY......
  • 【数据结构和算法】LeetCode,初级算法-15有效的字母异位词
    截止到目前我已经写了600多道算法题,其中部分已经整理成了pdf文档,目前总共有1000多页(并且还会不断的增加),大家可以免费下载下载链接:​​https://pan.baidu.com/s/1hjwK0ZeRxY......
  • 【数据结构和算法】LeetCode,初级算法-14字符串中的第一个唯一字符
    截止到目前我已经写了600多道算法题,其中部分已经整理成了pdf文档,目前总共有1000多页(并且还会不断的增加),大家可以免费下载下载链接:​​https://pan.baidu.com/s/1hjwK0ZeRxY......
  • Redis做限流应用
    CurrentLimiting在编写系统时候有时候我们的系统在设计的时候就已经估算到了最大请求负载了,如果大量的请求超过系统所能承受着的值时,那么系统可能随时挂掉,所有聪明程序员......
  • 分布式场景中确保线程安全的解决方案,redis实现分布式锁
     1.死锁问题场景:当用redis做分布式锁时,当A用户竞争锁成功,A用户所在的主机挂了,这时候还没有来得及释放锁,那么其他用户去用setnx指令去竞争锁时发现redis有......
  • Redis实现分布式锁的7种方案,及正确使用姿势!
    Redis实现分布式锁的7种方案,及正确使用姿势!种方案前言日常开发中,秒杀下单、抢红包等等业务场景,都需要用到分布式锁。而Redis非常适合作为分布式锁使用。本文将分七个......