首页 > 数据库 >Redis6 多线程模型

Redis6 多线程模型

时间:2024-09-25 21:21:42浏览次数:3  
标签:队列 Redis 模型 Redis6 主线 线程 多线程 CPU

优质博文:IT-BLOG-CN

一、单线程的优缺点

对于一个请求操作Redis主要做3件事情:从客户端读取数据/解析、执行Redis命令、回写数据给客户端。所以主线程其实就是把所有操作的这3件事情串行一起执行,因为是基于内存,所以执行速度非常快。

优点&缺点:
【1】优点:不存在锁的竞争问题和避免线程间CPU的切换。
【2】缺点:单线程无法利用多CPU和串行操作,某个操作“出问题”会“阻塞”后续操作。

Redis6.0之前为什么一直不使用多线程?
使用Redis时,几乎不存在CPU成为瓶颈的情况,Redis主要受限于内存和网络。例如:在一个普通的Linux系统上,Redis通过使用pipelining每秒可以处理100W个请求,如果应该程序主要使用O(N)O(log(N))的命令,它几乎不会占用太多的CPU。如果要用到多核CPU,可以搭建多个Redis实例来解决。

为什么说Redis的瓶颈不在CPU
Redis绝大部分操作是基于内存的,而且是存KV(key-value)操作,命令执行的速度非常快。我们可以这么理解:Redis的数据存储在一个大的HashMap中,而HashMap的优势就是查找和写入的时间复杂度都是O(1)Redis内部采用这种结构存储数据,就奠定了Redis高性能的基础。

二、Redis 的多线程

Redis基于内存操作,内存的响应时长大约为100纳秒,单线程的Redis处理数据的极限是80,000100,000 QPS,对于80%的公司来说,单线程的Redis已经足够使用了。

因为网络I/ORedis执行期间占用了大部分CPU时间,所以把网络I/O部分单独抽离出来,做成多线程的方式。这里所说的多线程,其实就是将Redis单线程中做的这两件事情“从客户端读取数据、回写数据给客户端”(也可以称为网络I/O),处理成多线程的方式,但是“执行Redis命令”还是在主线程中串行执行,这个逻辑保持不变。

主线程和多个I/O线程,都同时处理图中的“队列”,是不是会存在锁竞争的关系尼?这里有个巧妙的设计,就是当epoll获取socket链接时,会将该事件先全部扔进队列中,比如扔了N个事件,这时主线程就会处于忙碌状态。然后多个I/O线程开始去并行进行网络I/O,并对数据进行协议解析,当队列全部处理完毕后,主线程会对队列中请求串行“执行Redis命令”,然后清空该队列。所以整个执行流程总结下来:主线程执行请求入队列 -> I/O线程并行进行网络读 -> 主线程串行执行Redis命令 -> I/O线程并行进行网络写 ->主线程清空队列,并接收下一批请求。

Redis 6.0的多线程是禁用的,默认使用是主线程。官方建议:只在机器至少有4个内核时才启用多线程模型,且至少留下一个备用内核。如果需要开启多线程需修改redis.conf配置文件:

io-threads-do-reads yes

开启多线程后,还需要设置线程数,否则是不生效的。同样修改redis.conf配置文件:

io-threads 3

Redis官方建议:只在机器至少有4个内核时才启用多线程模型,且至少留下一个备用内核。4核的机器建议设置为23个线程,8核的建议设置为6个线程,线程数一定要小于机器核数。还需要注意的是,线程数并不是越大越好,官方认为超过了8个基本就没什么意义了。

三、Redis6 多线程原理解析

近年来底层网络硬件性能越来越好,Redis的性能瓶颈逐渐体现在网络I/O的读写上,单个线程处理网络I/O读写的速度跟不上底层网络硬件执行的速度。

Redis6.0多线程是把主线程处理网络IO和协议解析这两件事给了一组独立的线程处理,使得多个socket读写可以并⾏化,但Redis命令还是主线程串⾏执⾏。

主要流程如下:
【1】主线程负责接收并建立(多个)连接请求,获取socket后放入全局等待处理队列;
【2】主线程处理完这些事件之后,通过RRRound Robin轮询)将可读socket分配给这些IO线程;
【3】主线程阻塞,等待IO线程完成命令的读取、解析;

继续使⽤单线程执⾏读写命令,不需要为了保证Lua脚本、事务、等开发多线程安全机制,实现更简单。

【4】主线程执⾏IO线程读取和解析出来的Redis请求命令,并将结果写到输出缓冲区;
【5】主线程阻塞,等待IO线程将命令执⾏结果写回socket(客户端);
【6】主线程执行所有命令并清空整个等待队列,等待客户端后续的请求队列;

三、性能对比

压测配置:
Redis Server: 阿里云Ubuntu 18.04,8 CPU 2.5 GHZ, 8G内存,主机型号ecs.ic5.2xlarge
Redis Benchmark Client: 阿里云Ubuntu 18.04,8 2.5 GHZ CPU, 8G内存,主机型号ecs.ic5.2xlarge

压测命令: redis-benchmark -h 192.168.0.49 -a foobared -t set,get -n 1000000 -r 100000000 --threads 4 -d ${datasize} -c 256

从上面可以看到GET/SET命令在4线程IO时性能相比单线程是几乎是翻倍了。另外,这些数据只是为了简单验证多线程IO是否真正带来性能优化,并没有针对严谨的延时控制和不同并发的场景进行压测。数据仅供验证参考而不能作为线上指标,且只是目前的unstble分支的性能,不排除后续发布的正式版本的性能会更好。

标签:队列,Redis,模型,Redis6,主线,线程,多线程,CPU
From: https://blog.csdn.net/zhengzhaoyang122/article/details/142424024

相关文章

  • 《AI大模型开发之路》:当程序员遇上“大”模型
    目录开篇惊魂:我的Python又双叒叕出问题了Transformer模型:是机器人还是变形金刚?实战篇:API调用还是“挨批”调用?LangChain框架:链条太长,容易绊倒项目实战:从HelloWorld到“Hell”World部署之痛:服务器说它不想努力了结语:笑中带泪的学习之路各位技术同胞们,最近我读了一本......
  • AI大模型开发工程师之路:从零到一的进阶指南
      当前最热门的技术无疑是AI大模型。虽然它的应用前景广阔,但真正精通大模型技术的人还不多。然而,市场对大模型的需求却在不断增长,吸引了不少开发者想要转行进入这个领域。然而,面对新技术,许多人心中充满疑虑,担心自己无法掌握。笔者也是充满疑虑,然后直到我看到这本书籍,感觉受益......
  • 丹摩智算:ChatGLM-6B模型的部署与使用指南
    文章目录......
  • 将Mixamo的模型和动画导入UE5
    首先进入Mixamo的官网,点击Character选择一个模型 (当然你也可以自己上传模型/绑定动画)然后点击下载,这个作为带骨骼的模型选择FBX格式,TPose直接下载点击Animations选择动画,搜索idle默认站立动画 点击下载,格式选择FBX,不带模型只要骨骼,......
  • Faster-RCNN 目标检测模型的训练与测试指南
    文章目录......
  • 本地部署运行 Google Gemma 开源大模型
    Google开源了Gemma大模型,有7B和2B两个版本,7B模型的能力已经是开源模型中的领先水平。Gemma可以轻松的在本地部署运行,如果你的显存在8G以上,可以体验7B版本,8G以下的话可以试试2B版本。部署过程如下:1、使用ollama运行Gemma模型2、使用Chatbox作为UI客户端......
  • 银行存取款多线程
    importjava.util.Random;importjava.lang.*;/***银行存取款**@authorLaccoliths*/publicclassBank{privateintcount=0;/***存钱*@parammoney:存钱数*/publicsynchronizedvoidaddMoney(intmoney){count+......
  • Qwen2.5系列模型在GenStudio平台开源并提供API调用
    9月19日,通义千问宣布新一代模型Qwen2.5系列开源。无问芯穹Infini-AI异构云平台GenStudio目前已上架Qwen2.5-7B/14B/32B/72B,您可轻松调用模型API。快来GenStudio,加入这场Qwen2.5基础模型大派对!GenStudio模型体验地址:cloud.infini-ai.com/genstudio/model此次Qwen2.5开源......
  • 开发一个大模型应用,还可以这么简单?
    ......
  • Windows系统的Mamba环境配置详细教程(状态空间模型)
    目录一、Win系统安装详细教程1、准备2、安装Triton1)下载后,通过cmd命令符进入到该文件的文件夹路径:2)安装Triton2、安装causal_conv1d3、安装mamba_ssm二、检查是否成功运行一、Win系统安装详细教程安装系统要求:cuda11.8、python3.101、准备根据下面的步骤,创建虚拟......