首页 > 数据库 >Redis深入理解-内核请求处理流程、数据传输协议

Redis深入理解-内核请求处理流程、数据传输协议

时间:2023-11-27 20:31:58浏览次数:46  
标签:Redis server 命令 内核 缓冲区 数据传输 数据 内存

Redis 内核级请求处理流程

Redis Server 其实就是 Linux 服务器中的一个进程

主要还是下图的流程

  1. 应用先和 server 端建立 TCP 连接
  2. 建立连接之后,server 端就会有一个与该客户端通信的 socket,客户端的读写请求发送到服务端的 socket
  3. 那么通过 IO 多路复用,收到读写请求的 socket 会到队列中排队等待处理
  4. 由文件事件分发器将事件分发给对应的命令请求处理器
  5. server 端内部也是有一个 Redis Client 的,由这个 Client 来处理对数据的操作,这个 Client 有一个输入缓冲区和输出缓冲区,先将读写命令写入输入缓冲区
  6. 再去找到对应的 Redis Command 也就是查找到对应的命令
  7. 之后就去操作内存中的数据
  8. 操作后将操作结果写入输出缓冲区中
  9. 最终命令请求处理器将输出缓冲区中的响应结果通过 Socket 发送给客户端

Redis深入理解-内核请求处理流程、数据传输协议_数据

Redis 数据传输协议

参考文章:https://redis.com.cn/topics/protocol.html

Redis客户端和服务器端通信使用名为 RESP (REdis Serialization Protocol) 的协议。虽然这个协议是专门为Redis设计的,它也可以用在其它 client-server 通信模式的软件上。

该协议用于 Redis 客户端和服务端之间进行通信

RESP 协议格式:

  • 单行字符串(Simple Strings): 响应的首字节是 +
  • 错误(Errors): 响应的首字节是 -
  • 整型(Integers): 响应的首字节是:
  • 多行字符串(Bulk Strings): 响应的首字节是 $
  • 数组(Arrays):响应的首字节是 *

RESP 协议的每一个部分都是以 \r\n 结束,也就是换行结束

AOF 持久化文件中存储的数据也是 RESP 协议的数据格式。

RESP 协议优点:

  • 实现简单,容易解析
redis 的 set key value 命令转为 RESP 协议数据如下:
*3
$3
SET
$3
key
$5
value
  • RESP 是二进制安全的,因为使用了前缀长度来传输大量数据,因此不需要去检查内容中是否存在特殊字符

Redis 内核中的请求数据结构

Redis 协议说明文档:http://www.redis.cn/topics/protocol.html

# *3 表示有 3 个命令字符串
# $3 表示长度
# \r\n 也就是换行操作
*3\r\n$3\r\nSET\r\n$3\r\nkey\r\j$5\r\nvalue\r\n

# 把\r\n翻译成换行,数据就为下边这个样子
*3
$3
SET
$3
key
$5
value

对于 set key value 命令来说,通过协议组织成上边的数据,那么从 client 端发送到 server 需要序列化成字节数据流,之后再通过 socket 进行传输,server 端收到字节流数据之后,会进行反序列化,将字节流数据转为了 *3\r\n$3\r\nSET\r\n$3\r\nkey\r\j$5\r\nvalue\r\n,这个数据就会被放到 server 端的 RedisClient 的输入缓冲区中

那么这个协议数据在 server 中的 Redis Client 中,就会被解析成 argv 的一个参数,也就是具体的命令,如下图:

Redis深入理解-内核请求处理流程、数据传输协议_Redis_02

那么在 argv 中就解析出来了真正需要执行的命令了,下一步就要执行对应的命令了

Redis 内核中命令函数的查找

在 Redis Server 中将所有的命令都放在了一个命令查找表中,那么在上边的 argv 中拿到了命令的名称,就可以去命令查找表中去查找对应的 RedisCommand,在 Redis Client 的输入缓冲区中有一个变量 cmd 就会去指向该命令所对应的 RedisCommand,之后就可以真正的去调用命令函数,来操作 Redis 中的内存数据结构,之后将操作的结果还是按照 Redis 的协议给放入到 Redis Client 的输出缓冲区中,之后就可以通过 Socket 将结果返回给客户端了

Redis深入理解-内核请求处理流程、数据传输协议_客户端_03

Redis Server 启动流程分析

Redis 我们作为缓存使用比较多

其实 Redis 本质上是一个基于内存的 Nosql 数据存储服务,只是因为 Redis 是基于内存进行操作,比较快,所以我们用来做缓存

那么 Redis Server 基于内存操作,如果 Redis 重启之后,内存中的数据就会丢失,所以 Redis 还需要进行持久化的一个操作

那么持久化就分为了 RDB 和 AOF,RDB 的话是周期性将内存中的全量数据都给复制到磁盘中(存储文件为压缩的二进制文件),适合做数据的冷备份,放到其他服务器的磁盘上去,如果当前服务器磁盘损坏,就可以从其他服务器读取该 RDB 文件,恢复 Redis 中的内存数据

一般使用 AOF 来做数据的持久化,用 RDB 做一个周期性的冷备份

AOF 将内存数据同步到磁盘中,一般采用每秒同步一次,如果同步频率过高,就会导致 Redis 性能退化,当 Redis 突然宕机,可能会丢失 1s 内的内存数据,那么在 redis-server 进程重启时,就会把磁盘存储的 aof 文件的数据给读取到内存中,还原 Redis 上次运行时的内存情况

Redis 为什么需要分布式集群模式?

单台 Redis 瓶颈在哪里?

在于内存,每一台机器的内存是有限的,所以如果数据量很大的情况下,一台 Redis 就不够用了,因此需要分布式集群模式

在分布式集群模式中,就可以让每一个节点存储一部分的数据,来降低内存容量对于 Redis 的影响

Redis 分布式集群模式下内核中的数据结构

Redis Server 在分布式模式下,需要存储哪些内容的?

主要是存储集群的状态(state)以及集群中的节点(nodes),以及当前节点的一个角色(myself)

Redis深入理解-内核请求处理流程、数据传输协议_客户端_04

标签:Redis,server,命令,内核,缓冲区,数据传输,数据,内存
From: https://blog.51cto.com/u_16186397/8588237

相关文章

  • Spring Data Redis切换底层Jedis 和 Lettuce实现
    1简介SpringDataRedis是SpringData系列的一部分,它提供了Spring应用程序对Redis的轻松配置和使用。它不仅提供了对Redis操作的高级抽象,还支持Jedis和Lettuce两种连接方式。可通过简单的配置就能连接Redis,并且可以切换Jedis和Lettuce两个连接方式。下面先来看看我们该如何使......
  • Redis的基本常识
    Redis简介:Redis是完全开源的,遵守BSD协议,是一个高性能的key-value数据库。Redis与其他key-value缓存产品有以下三个特点:Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据,同时还提供l......
  • 设置默认启动内核
    ##查看系统可用内核$cat/boot/grub2/grub.cfg|grepmenuentrymenuentry'CentOSLinux(3.10.0-1062.el7.x86_64)7(Core)'--classcentos(略)menuentry'CentOSLinux(4.17.12-1.el7.elrepo.x86_64)7(Core)'--classcentos...(略)##设置开机从新内核启动$gru......
  • Linux编译方式安装redis
    redis安装1、安装gcc-c++编译环境yuninstallgcc-c++2、把redis上传到linux服务器3、解压缩  tar-zxfredis-3.0.0.tar.gz4、make5、安装并指定安装目录 需要创建目录/usr/local/redismakeinstallPREFIX=/usr/local/redis安装完显示结尾为 INSTALLinstall make[1]......
  • redis优化秒杀
    (redis优化秒杀)本文为学习redis时做的笔记,学习内容来自黑马程序员Redis入门到实战教程,该教程是循序渐进的,所以不是一上来就讲完最后的解决方案了,请耐心看完1.异步秒杀思路这是我们原本的秒杀思路,其中的流程都要经过mysql数据库,而mysql数据库的并发性能不是很好,而且为了避免线......
  • 图解Redis适用场景
    Redis以其速度而闻名。1业务数据缓存1.1通用数据缓存string,int,list,map。Redis最常见的用例是缓存对象以加速Web应用程序。此用例中,Redis将频繁请求的数据存储在内存。允许Web服务器快速返回频繁访问的数据。这减轻数据库的负载并提高应用程序RT。规模扩张时,缓存分......
  • 小米二面:Redis 如何保证数据不丢失?
    前段时间表妹收到了小米秋招补录的面试邀请,一面还算顺利,很快就通过了,但在看二面面试录屏的时候,我发现了一个问题,回答的不是很好,也就是我们今天要聊的这个问题:Redis如何保证数据不丢失?很多人看到这个问题的第一反应是,这个问题不难,就是Redis的持久化技术嘛!但如果你这样回答,可能......
  • Redis RedisTemplate
    1、RedisTemplate使用PipeLine管道命令RedisTemplate使用最详解(五)---opsForZSet()2、redisTemplate.opsForZSet().add("zSet","aaa",1);redisTemplate.opsForZSet().add("zSet","bbb",2);redisTemplate.opsFo......
  • 6.1 Windows驱动开发:内核枚举SSDT表基址
    SSDT表(SystemServiceDescriptorTable)是Windows操作系统内核中的关键组成部分,负责存储系统服务调用的相关信息。具体而言,SSDT表包含了系统调用的函数地址以及其他与系统服务相关的信息。每个系统调用对应SSDT表中的一个表项,其中存储了相应系统服务的函数地址。SSDT表在64位和32......
  • 6.2 Windows驱动开发:内核枚举SSSDT表基址
    在Windows内核中,SSSDT(SystemServiceShadowDescriptorTable)是SSDT(SystemServiceDescriptorTable)的一种变种,其主要用途是提供Windows系统对系统服务调用的阴影拷贝。SSSDT表存储了系统调用的函数地址,类似于SSDT表,但在某些情况下,Windows系统会使用SSSDT表来对系统服务进行引导......