首页 > 数据库 >[转帖]Redis如何绑定CPU

[转帖]Redis如何绑定CPU

时间:2024-06-21 13:20:34浏览次数:26  
标签:node 绑定 Redis 转帖 线程 throughput CPU

https://wenfh2020.com/2023/10/08/https/

 

发布时间:2022-03-08 09:44:39 阅读:649 作者:小新 栏目:开发技术 开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

这篇文章主要介绍了Redis如何绑定CPU,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

绑定 CPU

Redis 6.0 开始支持绑定 CPU,可以有效减少线程上下文切换。

CPU 亲和性(CPU Affinity)是一种调度属性,它将一个进程或线程,「绑定」到一个或一组 CPU 上。也称为 CPU 绑定。

设置 CPU 亲和性可以一定程度避免 CPU 上下文切换,提高 CPU L1、L2 Cache 命中率。

早期「SMP」架构下,每个 CPU 通过 BUS 总线共享资源。CPU 绑定意义不大。

Redis如何绑定CPU
而在当前主流的「NUMA」架构下,每个 CPU 有自己的本地内存。访问本地内存有更快的速度。而访问其他 CPU 内存会导致较大的延迟。这时,CPU 绑定对系统运行速度的提升有较大的意义。

Redis如何绑定CPU
现实中的 NUMA 架构比上图更复杂,通常会将 CPU 分组,若干个 CPU 分配一组内存,称为 「node」

你可以通过 「numactl -H 」 命令来查看 NUMA 硬件信息。

$ numactl -H
available: 2 nodes (0-1)node 0 cpus: 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
node 0 size: 32143 MB
node 0 free: 26681 MB
node 1 cpus: 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39
node 1 size: 32309 MB
node 1 free: 24958 MB
node distances:
node 0 1
  0: 10 21
  1: 21 10

上图中可以得知该机器有 40 个 CPU,分组为 2 个 node。

node distances 是一个二维矩阵,表示 node 之间 「访问距离」,10 为基准值。上述命令中可以得知,node 自身访问,距离是 10。跨 node 访问,如 node 0 访问 node 1 距离为 21。说明该机器「跨 node 访问速度」比「node 自身访问速度」慢 2.1 倍。

其实,早在 2015 年,有人提出 Redis 需要支持设置 CPU 亲和性,而当时的 Redis 还没有支持 IO 多线程,该提议搁置。

而 Redis 6.0 引入 IO 多线程。同时,也支持了设置 CPU 亲和性

我画了一张 Redis 6.0 线程家族供你参考。

Redis如何绑定CPU

上图可分为 3 个模块

  • 主线程和 IO 线程:负责命令读取、解析、结果返回。命令执行由主线程完成。

  • bio 线程:负责执行耗时的异步任务,如 close fd。

  • 后台进程:fork 子进程来执行耗时的命令。

Redis 支持分别配置上述模块的 CPU 亲和度。你可以在 redis.conf 找到以下配置(该配置需手动开启)。

# IO 线程(包含主线程)绑定到 CPU 0、2、4、6
server_cpulist 0-7:2
# bio 线程绑定到 CPU 1、3
bio_cpulist 1,3
# aof rewrite 后台进程绑定到 CPU 8、9、10、11
aof_rewrite_cpulist 8-11
# bgsave 后台进程绑定到 CPU 1、10、11
bgsave_cpulist 1,10-11

我在上述机器,针对 IO 线程和主线程,进行如下测试:

首先,开启 IO 线程配置

io-threads 4 # 主线程 + 3 个 IO 线程io-threads-do-reads yes # IO 线程开启读和解析命令功能

测试如下三种场景:

  1. 不开启 CPU 绑定配置。

  2. 绑定到不同 node。
    「server_cpulist 0,1,2,3」

  3. 绑定到相同 node。
    「server_cpulist 0,2,4,6」

通过 redis-benchmark 对 get 命令进行基准测试,每种场景执行 3 次。

$ redis-benchmark -n 5000000 -c 50 -t get --threads 4

结果如下:

1.不开启 CPU 绑定配置

throughput summary: 248818.11 requests per second
throughput summary: 248694.36 requests per second
throughput summary: 249004.00 requests per second

2.绑定不同 node

throughput summary: 248880.03 requests per second
throughput summary: 248447.20 requests per second
throughput summary: 248818.11 requests per second

3.绑定相同 node

throughput summary: 284414.09 requests per second
throughput summary: 284333.25 requests per second
throughput summary: 265252.00 requests per second

根据测试结果,绑定到同一个 node,qps 大约提升 15%

使用绑定 CPU,你需要注意以下几点:

  1. Linux 下,你可以使用 「numactl --hardware」 查看硬件布局,确保支持并开启 NUMA。

  2. 线程要尽可能分布在 「不同的 CPU,相同的 node」,设置 CPU 亲和度才有效。否则会造成频繁上下文切换和远距离内存访问。

  3. 你要熟悉 CPU 架构,做好充分的测试。否则可能适得其反,导致 Redis 性能下降。

感谢你能够认真阅读完这篇文章,希望小编分享的“Redis如何绑定CPU”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

标签:node,绑定,Redis,转帖,线程,throughput,CPU
From: https://www.cnblogs.com/jinanxiaolaohu/p/18260323

相关文章

  • RedisDesktopManager的使用
    简介        RedisDesktopManager(RDM)是一个开源的图形化Redis数据库管理工具,是Redis可视化工具,支持Windows、macOS和Linux平台        它提供了一系列的功能,如连接管理、数据浏览、编辑和调试等,帮助用户管理和操作Redis数据库;适用于多种操作系......
  • Redis集群搭建及原理详解
    1.Redis集群方案比较1.1哨兵模式在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态,如果master节点异常,则会做主从切换,将某一台slave作为master,哨兵的配置略微复杂,并且性能和高可用性等各方面表现一般,特别是在主从切换的瞬间存在访问瞬断......
  • Redis 缓存应用、淘汰机制
    (四)Redis缓存应用、淘汰机制 合集-Redis(4) 1.(一)LinuxCentOSRedis安装05-082.(二)Redis数据类型与结构05-173.(三)Redis线程与IO模型06-054.(四)Redis缓存应用、淘汰机制06-20收起 1、缓存应用一个系统中不同层面数据访问速度不一样,以计算机为例,CPU、内存......
  • Redis漏洞原理
    Redis漏洞原理Redis简单介绍Redis是一款内存高速缓存的数据库,是一款K-V型数据库,它的所有键值都是用字典来存储的。其中它的value支持多种数据类型,包括String、List、Set、Zset和Hash。‍Redis未授权访问漏洞介绍利用条件Redis默认情况下绑定在127.0.0.1:6379,在没有进......
  • 【异常】nested exception is java.lang.NoClassDefFoundError: redis/clients/jedis/
    原因是版本冲突。以下我原本使用的版本信息<!--SpringBootRedis依赖--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId><version>2.1.8.RELEASE</version><......
  • linux 内存和cpu信息
    free#free[root@VM-0-14-centos~]#freetotalusedfreesharedbuff/cacheavailableMem:101482027236082932512659528577780Swap:000#-h以合适......
  • Redis的持久化机制和缓存预热
    Redis的持久化机制Redis是一个内存数据库,它的数据存放在内存中,但是如果关闭服务、机器关机或者断电的话,内存中的所有数据都会慢慢消失消失。内存数据消失的原因:因为内存中的数据是半导体晶体管开关,这种开关高度依赖电源,当电源断电后,无法再控制晶体管的开关状态。这时候电容发挥......
  • [转帖]netstat -st输出解析(二)
    https://perthcharles.github.io/2015/08/27/timestamp-NAT/netstat-st输出的两个重要信息来源分别是/proc/net/snmp和/proc/net/netstat本文将分类整理这些counterd的含义以及一些注意事项。在整理的过程中,发现RoverYu前辈已经对这些counter做过详细的整理。关于Rov......
  • [转帖]一个NAT问题引起的思考
    https://perthcharles.github.io/2015/08/27/timestamp-NAT/ 问题当服务器同时开启tcp_timestamps和tcp_tw_recycle选项时,会导致客户反馈连接成功率降低的情况。butwhy???公网NAT的存在NAT的全称是:NetworkAddressTranslation。一个具体的例子就是家用的局域网络。当......
  • [转帖]HikariCP连接池参数解释
    https://www.cnblogs.com/wat1r/p/13710562.html ##数据库配置spring.datasource.type=com.zaxxer.hikari.HikariDataSourcespring.datasource.driverClassName=com.mysql.jdbc.Driverspring.datasource.url=jdbc:mysql://localhost:3306/ssm?useUnicode=true&chara......