目录
一.stress简介
1.stress简介
stress是Linux的一个压力测试工具，可以对 CPU、Memory、I/O、磁盘进行压力测试。
2.stress安装
yum install stress -y
二.stress使用
1.stress命令
stress [OPTION [ARG]]
-c, --cpu N：产生N个进程，每个进程都循环调用sqrt函数产生CPU压力。
-i, --io N：产生N个进程，每个进程循环调用sync将内存缓冲区内容写到磁盘上，产生IO压力。通过系统调用sync刷新内存缓冲区数据到磁盘中，以确保同步。如果缓冲区内数据较少，写到磁盘中的数据也较少，不会产生IO压力。在SSD磁盘环境中尤为明显，很可能iowait总是0，却因为大量调用系统调用sync，导致系统CPU使用率sys 升高。
-m, --vm N：产生N个进程，每个进程循环调用malloc/free函数分配和释放内存。
--vm-bytes B：指定分配内存的大小
--vm-stride B：不断的给部分内存赋值，让COW(Copy On Write)发生
--vm-hang N ：指示每个消耗内存的进程在分配到内存后转入睡眠状态N秒，然后释放内存，一直重复执行这个过程
--vm-keep：一直占用内存，区别于不断的释放和重新分配(默认是不断释放并重新分配内存)
-d, --hdd N：产生N个不断执行write和unlink函数的进程(创建文件，写入内容，删除文件)
--hdd-bytes B：指定文件大小
--hdd-noclean：不要将写入随机ASCII数据的文件Unlink
-t, --timeout N：在N秒后结束程序
--backoff N：等待N微秒后开始运行
-q, --quiet：程序在运行的过程中不输出信息
-n, --dry-run：输出程序会做什么而并不实际执行相关的操作
--version：显示版本号
-v, --verbose：显示详细的信息
2.使用
- 1.CPU测试
# 开启2个cpu进程进行sqrt计算，60s结束
stress --cpu 2 --timeout 60
stress: info: [4346] dispatching hogs: 2 cpu, 0 io, 0 vm, 0 hdd
stress: info: [4346] successful run completed in 60s
使用 mpstat多核 cpu性能分析工具，来实时查询每个 cpu的性能指标，和所有 cpu的平均指标。
[root@devops03 ~]# mpstat -P ALL 1 100
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:01:42 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:01:43 PM all 50.00 0.00 0.25 0.00 0.00 0.00 0.00 0.00 0.00 49.75
03:01:43 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:43 PM 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:43 PM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:01:43 PM 3 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
03:01:43 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:01:44 PM all 49.87 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50.13
03:01:44 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:44 PM 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:44 PM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:01:44 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:01:44 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:01:45 PM all 50.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50.00
03:01:45 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:45 PM 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:45 PM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:01:45 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:01:45 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:01:46 PM all 50.13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.87
03:01:46 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:46 PM 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:01:46 PM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:01:46 PM 3 0.00 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 99.01
- 2.I/O测试
# 开启2个I/O进程，执行sync系统调用，刷新内存缓冲区到磁盘
stress --io 2 --timeout 60s
stress: info: [4449] dispatching hogs: 0 cpu, 2 io, 0 vm, 0 hdd
stress: info: [4449] successful run completed in 60s
[root@devops03 ~]# mpstat -P ALL 1 100
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:07:25 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:07:26 PM all 0.25 0.00 31.04 17.30 0.00 0.00 0.00 0.00 0.00 51.40
03:07:26 PM 0 0.00 0.00 61.86 34.02 0.00 0.00 0.00 0.00 0.00 4.12
03:07:26 PM 1 0.00 0.00 2.04 0.00 0.00 0.00 0.00 0.00 0.00 97.96
03:07:26 PM 2 0.00 0.00 60.20 36.73 0.00 0.00 0.00 0.00 0.00 3.06
03:07:26 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:07:26 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:07:27 PM all 0.00 0.00 31.36 16.97 0.00 0.00 0.00 0.00 0.00 51.67
03:07:27 PM 0 0.00 0.00 63.92 32.99 0.00 0.00 0.00 0.00 0.00 3.09
03:07:27 PM 1 0.00 0.00 3.06 0.00 0.00 0.00 0.00 0.00 0.00 96.94
03:07:27 PM 2 0.00 0.00 62.11 34.74 0.00 0.00 0.00 0.00 0.00 3.16
03:07:27 PM 3 0.00 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 99.01
03:07:27 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:07:28 PM all 0.00 0.00 32.47 15.72 0.00 0.00 0.00 0.00 0.00 51.80
03:07:28 PM 0 1.04 0.00 65.62 30.21 0.00 0.00 0.00 0.00 0.00 3.12
03:07:28 PM 1 0.00 0.00 1.04 0.00 0.00 0.00 0.00 0.00 0.00 98.96
03:07:28 PM 2 0.00 0.00 63.16 32.63 0.00 0.00 0.00 0.00 0.00 4.21
03:07:28 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
使用 stress无法模拟 iowait升高，但 sys升高。stress -i参数表示通过系统调用 sync来模拟 I/O问题，但 sync是刷新内存缓冲区数据到磁盘中，以确保同步。如果内存缓冲区内没多少数据，读写到磁盘中的数据也就不多，没法产生 I/O压力。使用 SSD磁盘的环境中尤为明显，iowait一直为0，但因为大量系统调用，导致系统 CPU使用率 sys升高。
# 开启2个I/O进程，2个磁盘I/O进程
stress --io 2 --hdd 2 --timeout 60s
stress: info: [4475] dispatching hogs: 0 cpu, 2 io, 0 vm, 2 hdd
stress: info: [4475] successful run completed in 61s
[root@devops03 ~]# mpstat -P ALL 1 100
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:12:10 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:12:11 PM all 0.00 0.00 44.70 21.71 0.00 0.00 0.00 0.00 0.00 33.59
03:12:11 PM 0 0.00 0.00 90.72 0.00 0.00 0.00 0.00 0.00 0.00 9.28
03:12:11 PM 1 0.00 0.00 75.26 0.00 0.00 0.00 0.00 0.00 0.00 24.74
03:12:11 PM 2 0.00 0.00 2.06 8.25 0.00 0.00 0.00 0.00 0.00 89.69
03:12:11 PM 3 0.00 0.00 9.38 80.21 0.00 0.00 0.00 0.00 0.00 10.42
03:12:11 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:12:12 PM all 0.51 0.00 45.78 24.04 0.00 0.00 0.26 0.00 0.00 29.41
03:12:12 PM 0 0.00 0.00 95.96 1.01 0.00 0.00 0.00 0.00 0.00 3.03
03:12:12 PM 1 0.00 0.00 13.13 33.33 0.00 0.00 0.00 0.00 0.00 53.54
03:12:12 PM 2 1.03 0.00 50.52 1.03 0.00 0.00 0.00 0.00 0.00 47.42
03:12:12 PM 3 0.00 0.00 22.34 63.83 0.00 0.00 0.00 0.00 0.00 13.83
03:12:12 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:12:13 PM all 0.00 0.00 49.34 37.53 0.00 0.00 0.00 0.00 0.00 13.12
03:12:13 PM 0 0.00 0.00 76.60 19.15 0.00 0.00 0.00 0.00 0.00 4.26
03:12:13 PM 1 0.00 0.00 6.32 92.63 0.00 0.00 0.00 0.00 0.00 1.05
03:12:13 PM 2 0.00 0.00 39.58 16.67 0.00 0.00 0.00 0.00 0.00 43.75
03:12:13 PM 3 0.00 0.00 75.79 21.05 0.00 0.00 0.00 0.00 0.00 3.16
- 3.Memory测试
# 开启2个进程分配内存，每次分配1GB内存，保存100s后释放，100s后退出
stress --vm 2 --vm-bytes 1G --vm-hang 100 --timeout 100s
stress: info: [4497] dispatching hogs: 0 cpu, 0 io, 2 vm, 0 hdd
stress: info: [4497] successful run completed in 100s
[root@devops03 ~]# vmstat 1 100
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 5506524 22636 437716 0 0 3 426 34 46 1 0 99 0 0
0 0 0 5506524 22636 437716 0 0 0 0 41 28 0 0 100 0 0
0 0 0 5506524 22644 437732 0 0 0 36 46 55 0 0 100 0 0
0 0 0 5506524 22644 437732 0 0 0 0 26 19 0 0 100 0 0
0 0 0 5506524 22644 437732 0 0 0 0 30 26 0 0 100 0 0
0 0 0 5506524 22644 437732 0 0 0 0 28 24 0 0 100 0 0
0 0 0 5506524 22644 437732 0 0 0 0 19 21 0 0 100 0 0
- 4.磁盘I/O测试
# 开启2个磁盘I/O进程，每次写10G数据到磁盘
stress --hdd 2 --hdd-bytes 10G --backoff 2000000
stress: info: [4541] dispatching hogs: 0 cpu, 0 io, 0 vm, 2 hdd
[root@devops03 ~]# iostat -d -x 1
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vda 0.00 0.37 0.48 22.97 13.43 2000.18 171.78 0.54 44.29 6.33 45.07 0.23 0.53
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vda 0.00 0.00 7.00 1337.00 32.00 643200.00 957.19 126.92 194.93 19.14 195.85 0.75 100.20
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vda 0.00 17.82 2.97 901.98 11.88 433457.43 958.00 127.53 227.93 12.00 228.64 1.10 99.90
三.stress测试场景
- 1.CPU密集型进程
stress --cpu 2 --timeout 600
stress: info: [4868] dispatching hogs: 2 cpu, 0 io, 0 vm, 0 hdd
模拟启动2个 CPU密集型进程
# 查看系统平均负载
[root@devops03 ~]# uptime
15:27:28 up 4:39, 4 users, load average: 1.71, 1.79, 1.28
# 查看CPU使用情况
[root@devops03 ~]# mpstat -P ALL 5
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:28:13 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:28:18 PM all 49.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50.03
03:28:18 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:28:18 PM 1 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.80
03:28:18 PM 2 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:28:18 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:28:18 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:28:23 PM all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.95
03:28:23 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:28:23 PM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
03:28:23 PM 2 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:28:23 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
# 查看进程负载情况
[root@devops03 ~]# pidstat -u 5
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:28:44 PM UID PID %usr %system %guest %CPU CPU Command
03:28:49 PM 0 4869 100.00 0.00 0.00 100.00 0 stress
03:28:49 PM 0 4870 100.00 0.00 0.00 100.00 2 stress
03:28:49 PM 0 5077 0.00 0.20 0.00 0.20 1 pidstat
03:28:49 PM UID PID %usr %system %guest %CPU CPU Command
03:28:54 PM 0 1385 0.00 0.20 0.00 0.20 1 kworker/1:1H
03:28:54 PM 0 4869 100.00 0.00 0.00 100.00 0 stress
03:28:54 PM 0 4870 100.00 0.00 0.00 100.00 2 stress
03:28:54 PM 0 5077 0.00 0.20 0.00 0.20 1 pidstat
1.通过 uptime可以观察系统平均负载较高。
2.通过 mpstat观察到 CPU0和 CPU2的用户态 CPU使用率很高，而 iowait为0，说明进程是 CPU密集型。进程使用 CPU密集导致系统平均负载变高、CPU使用率变高。
3.可以通过 pidstat查看是 stress进程导致 CPU使用率较高。
- 2.I/O密集型进程
stress -i 1 --hdd 1 --timeout 600
stress: info: [5370] dispatching hogs: 0 cpu, 1 io, 0 vm, 1 hdd
模拟1个 worker调用 sync刷新内存缓冲区 write到磁盘。
# 查看系统平均负载
[root@devops03 ~]# uptime
15:35:09 up 4:47, 4 users, load average: 2.56, 2.00, 1.57
# 查看cpu使用情况
[root@devops03 ~]# mpstat -P ALL 5
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:35:50 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:35:55 PM all 0.10 0.00 29.30 16.47 0.00 0.05 0.05 0.00 0.00 54.03
03:35:55 PM 0 0.00 0.00 53.48 11.68 0.00 0.20 0.00 0.00 0.00 34.63
03:35:55 PM 1 0.00 0.00 14.75 39.96 0.00 0.00 0.00 0.00 0.00 45.29
03:35:55 PM 2 0.21 0.00 37.73 4.33 0.00 0.00 0.21 0.00 0.00 57.53
03:35:55 PM 3 0.00 0.00 11.48 9.63 0.00 0.00 0.00 0.00 0.00 78.89
03:35:55 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:36:00 PM all 0.00 0.00 30.13 18.14 0.00 0.05 0.05 0.00 0.00 51.63
03:36:00 PM 0 0.00 0.00 10.88 54.21 0.00 0.21 0.00 0.00 0.00 34.70
03:36:00 PM 1 0.00 0.00 10.06 6.92 0.00 0.00 0.00 0.00 0.00 83.02
03:36:00 PM 2 0.00 0.00 6.89 11.27 0.00 0.00 0.00 0.00 0.00 81.84
03:36:00 PM 3 0.20 0.00 91.06 0.00 0.00 0.00 0.20 0.00 0.00 8.54
1.可以通过 uptime观察到，系统平均负载很高。
2.通过 mpstat观察到内核态 CPU使用率很低，但 iowait很高，一直在等待 I/O处理，说明进程是 I/O密集型。进程频繁进行 I/O操作，导致系统平均负载很高而 CPU使用率不高。
- 3.等待CPU进程
# 本机4个逻辑CPU，模拟8个进程
stress -c 8 --timeout 600
stress: info: [5737] dispatching hogs: 8 cpu, 0 io, 0 vm, 0 hdd
模拟8个 CPU密集型进程
# 查看系统平均负载
[root@devops03 ~]# uptime
15:41:06 up 4:52, 4 users, load average: 6.03, 3.47, 2.27
# 查看CPU使用率情况
[root@devops03 ~]# mpstat -P ALL 5
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:41:44 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:41:49 PM all 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:49 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:49 PM 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:49 PM 2 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:49 PM 3 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:49 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
03:41:54 PM all 99.95 0.00 0.00 0.00 0.00 0.00 0.05 0.00 0.00 0.00
03:41:54 PM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:54 PM 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:54 PM 2 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
03:41:54 PM 3 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
# 查看进程的CPU使用情况
[root@devops03 ~]# pidstat -u 5
Linux 3.10.0-957.1.3.el7.x86_64 (devops03) 11/07/2022 _x86_64_ (4 CPU)
03:43:41 PM UID PID %usr %system %guest %CPU CPU Command
03:43:46 PM 0 5957 49.70 0.00 0.00 49.70 2 stress
03:43:46 PM 0 5958 49.70 0.00 0.00 49.70 1 stress
03:43:46 PM 0 5959 49.70 0.00 0.00 49.70 0 stress
03:43:46 PM 0 5960 49.70 0.00 0.00 49.70 2 stress
03:43:46 PM 0 5961 49.90 0.00 0.00 49.90 3 stress
03:43:46 PM 0 5962 49.90 0.00 0.00 49.90 3 stress
03:43:46 PM 0 5963 49.90 0.00 0.00 49.90 1 stress
03:43:46 PM 0 5964 49.90 0.00 0.00 49.90 0 stress
03:43:46 PM 0 5975 0.00 0.20 0.00 0.20 2 pidstat
03:43:46 PM UID PID %usr %system %guest %CPU CPU Command
03:43:51 PM 0 5957 49.90 0.00 0.00 49.90 2 stress
03:43:51 PM 0 5958 50.10 0.00 0.00 50.10 1 stress
03:43:51 PM 0 5959 50.30 0.00 0.00 50.30 0 stress
03:43:51 PM 0 5960 49.70 0.00 0.00 49.70 2 stress
03:43:51 PM 0 5961 49.90 0.00 0.00 49.90 3 stress
03:43:51 PM 0 5962 49.90 0.00 0.00 49.90 3 stress
03:43:51 PM 0 5963 49.90 0.00 0.00 49.90 1 stress
03:43:51 PM 0 5964 49.70 0.00 0.00 49.70 0 stress
03:43:51 PM 0 5975 0.00 0.20 0.00 0.20 2 pidstat
1.通过 uptime观察到系统平均负载很高
2.通过 mpstat观察到用户态 CPU使用率很高，iowait为0，说明进程是 CPU密集型或者进程间存在 CPU争用。
3.通过 pidstat观察到 wait指标很高，说明进程间存在 CPU争用，系统中存在大量进程在等待使用 CPU。
四.stress-ng简介
1.stress-ng简介
stress-ng完全兼容 stress, 并且在 stress基础上增加数百个选项参数，支持产生各种复杂的压力。
2.stress-ng安装
stress-ng源码下载：
https://fossies.org/linux/privat/stress-ng-0.14.06.tar.gz
编译：
make
安装：
make install
3.stress-ng命令
Usage: stress-ng [OPTION [ARG]]
# 常用参数
-c N ：运行N worker CPU压力测试进程
--cpu-method all ：worker从迭代使用30多种不同的压力算法，包括pi, crc16, fft等等
-tastset N：将压力加到指定核心上
-d N：运行N worker HDD write/unlink测试
-i N：运行N worker IO测试
stress-ng --cpu 8 --io 4 --vm 2 --vm-bytes 128M --fork 4 --timeout 10s
- 产生2个
worker做圆周率算法压力
stress-ng --cpu 2 --cpu-method pi
- 产生2个
worker迭代使用30多种不同的压力算法，包括pi, crc16, fft等
stress-ng --cpu 2 --cpu-method all
- 产生2个
worker调用socket相关函数产生压力
stress-ng --sock 2
- 产生2个
worker读取tsc产生压力
stress-ng --tsc 2
- 将压力指定到指定
CPU上
stress-ng --sock 4 --taskset 0-1,3