首页 > 其他分享 >sysbench测试系统磁盘读写

sysbench测试系统磁盘读写

时间：2024-07-16 16:27:54浏览次数：18  
标签：测试 -- 读写 fileio mode file 磁盘 sysbench

版本号：sysbench1.1

简介

    sysbench除了测试数据库外，还可以用于测试硬盘在不同负载下的性能表现，包括随机读写、顺序读写、随机访问模式、I/O延迟等。原理是通过生成不同的文件I/O负载模式（如顺序读写和随机读写），并根据指定的数据块大小和线程数量，测量系统在这些条件下的读写吞吐量和延迟。

        

文章目录如下

1. 参数说明

1.1. 命令语法

1.2. 常用参数

1.3. 参数详解

2. 测试示例

2.1. 生成测试数据

2.2. 测试文件I/O

2.3. 清理数据文件

2.4. 报告解读

3. 常见测试

3.1. 按块大小测试

3.2. 按读写策略测试

3.3. 按读写比例测试

3.4. 按文件模式测试

3.5. 组合测试

        

1. 参数说明

1.1. 命令语法

  • 硬盘读写需要使用sysbench内置的文件来测试，所以在测试前需要先生成文件，再运行。所以命令语法分为3部分

生成数据文件语法

sysbench fileio [选项] prepare

运行测试语法

sysbench fileio [选项] run

清理文件语法

sysbench fileio [选项] cleanup

         

1.2. 常用参数

  • 注释内容中花括号{ }表示选项，方括号[ ]表示默认值

文件准备参数

--file-num=N             # 指定创建的文件总数量[128]
--file-total-size=SIZE   # 指定创建的文件总大小[2G]

常用测试参数

--file-block-size=N      # 指定IO测试中使用的块大小[16k]
--file-test-mode=STRING  # 指定测试模式{seqrd, seqwr, seqrewr, rndrd, rndwr, rndrw}
--file-io-mode=STRING    # 指定文件操作模式{sync,async,mmap} [sync]
--file-rw-ratio=N        # 指定读写比例 [1.5]
--file-extra-flags=[LIST,...]  # 指定在打开文件时使用的额外选项{sync,dsync,direct}

刷盘参数 [ fsync() 表示强制将文件系统缓冲区中的数据写入到磁盘中，避免数据丢失 ]

--file-fsync-freq=N       # 指定在多少次文件写入操作后调用fsync() [100]
--file-fsync-all[=on|off] # 每次写操作后执行fsync() [off]
--file-fsync-end[=on|off] # 在测试结束时执行fsync() [on]
--file-fsync-mode=STRING  # 指定同步方法{fsync, fdatasync} [fsync]
--file-merged-requests=N  # 控制在文件 I/O 测试中最多合并的 I/O 请求数量 [0]，0表示禁用

其他常用参数

--threads=N          # 测试线程数 [1]
--time=N             # 测试时间(单位:s) [10]
--report-interval=N  # 定期报告统计信息间隔时间(单位:s), 0表示禁用 [0]
--verbosity=N        # 详细日志级别(0~5), 0表示只输出重要信息, 5表示输出debug [3]
--histogram=[on|off] # 输出延迟直方图 [off]

         

1.3. 参数详解

--file-test-mode=STRING

说明：指定测试模式

  • seqrd：顺序读取
  • seqwr：顺序写入
  • seqrewr：顺序混合读写
  • rndrd：随机读取
  • rndwr：随机写入
  • rndrw：随机混合读写

--file-io-mode=STRING

说明：指定文件操作模式（默认同步）

  • sync：同步模式。文件操作将按顺序执行，每次操作会等待数据写入完成后再返回结果。适合需要确保数据完整性和稳定性的场景。
  • async：异步模式。文件操作会尽可能快地执行，不等待数据写入完成即返回结果。适合对性能要求较高、可以容忍少量数据丢失的应用场景。
  • mmap：内存映射模式。通过内存映射文件的方式进行文件 I/O 操作。

--file-extra-flags=[LIST,...]

说明：用于指定在打开文件时使用的额外选项

  • sync：文件操作使用同步 I/O。即每次读写操作都会等待数据完全写入到物理存储介质后才返回结果。这确保了数据写入的稳定性和一致性，适合对数据完整性要求高的应用场景。
  • dsync：强制每次写操作都等待数据以及元数据（如文件描述符）都已写入磁盘后才返回。相比于sync，dsync仅需等待数据提交而不需等待硬件设备将所有数据写入。
  • direct：使用直接 I/O，即绕过文件系统缓存直接读取或写入磁盘。这可以减少对系统缓存的依赖，适合大文件或需要避免文件系统缓存影响的应用。

--file-fsync-mode=STRING

说明：用于指定文件同步操作的方法（默认fsync）

  • fsync：使用 fsync() 系统调用进行同步操作。fsync() 强制将文件系统缓冲区中的数据及其相关的元数据（如文件描述符）写入到磁盘中，确保数据持久化存储。这种方式可以提供更强的数据保护，但通常比 fdatasync 操作更耗时。
  • fdatasync：使用 fdatasync() 系统调用进行同步操作。与 fsync() 不同的是，fdatasync() 只等待数据部分被写入到磁盘，而不等待相关的文件描述符或其他元数据。因此，相比于 fsync()，fdatasync() 可以提供更高的性能，但牺牲了一些数据保护的严格性。

        

2. 测试示例

2.1. 生成测试数据

sysbench fileio prepare
  • 这里主要举例子，上面3个参数是必选，其他参数可使用默认值。sysbench1.1 文件数量默认128，文件大小默认2GB

结果如下

最终生成128个文件

总文件大小为2G

        

2.2. 测试文件I/O

以测试随机读写为例，由于生成的数据文件使用的默认值，所以这里可以不指定；如果生成文件数/大小是自定义的，那么测试时需要指定的文件数/大小与prepare一致。

sysbench fileio --file-test-mode=rndrw run

结果如下

除了指定文件测试方法外，还有一些其他的常规参数，比如设置线程数10、测试时间5s、每隔1秒输出1次结果。

sysbench fileio --file-test-mode=rndrw --threads=10 --time=5 --report-interval=1 run

        

2.3. 清理数据文件

清理数据文件根据指定的数量来清理，比如不指定文件数据，默认清理128个，超过128个文件不会被清理

sysbench fileio prepare

指定文件数量清理

sysbench fileio --file-num=200 prepare

        

2.4. 报告解读

  • 以常规测试方法为例的结果解读

1、最前面部分是测试说明，表示怎么测，配置了哪些参数（未配置参数自动使用默认值）

[yt@localhost yt]$ sysbench fileio --file-test-mode=rndrw --threads=16 --report-interval=1 run
sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3)

Running the test with following options:
Number of threads: 16
Report intermediate results every 1 second(s)
Initializing random number generator from current time

Extra file open flags: (none)
128 files, 16MiB each
2GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test

        

2、中间部分就是实时打印的结果报告

Threads started!

[ 1s ] reads: 116.56 MiB/s writes: 77.73 MiB/s fsyncs: 15857.34/s latency (ms,95%): 0.116
[ 2s ] reads: 111.20 MiB/s writes: 74.06 MiB/s fsyncs: 15144.52/s latency (ms,95%): 0.116
[ 3s ] reads: 100.96 MiB/s writes: 67.39 MiB/s fsyncs: 13785.92/s latency (ms,95%): 0.160
[ 4s ] reads: 65.61 MiB/s writes: 43.72 MiB/s fsyncs: 8940.84/s latency (ms,95%): 0.307
  • [ 1s ]：当前测试第n秒
  • reads: 116.56 MiB/s：每秒执行了 116.56MiB 的读取操作
  • writes: 77.73 MiB/s：每秒执行了 77.73MiB 的写入操作
  • fsyncs: 15857.34/s：每秒大约完成15857个文件同步（数据写入磁盘）
  • latency (ms,95%): 0.116：95%的读写操作中，每个操作的延迟平均为0.116毫秒

        

3、最后报告部分呈现的是最终结果

吞吐量部分

Throughput:
    read:  IOPS=6906.50 107.91 MiB/s (113.16 MB/s) # 读取结果
    write: IOPS=4604.40 71.94 MiB/s (75.44 MB/s)   # 写入结果
    fsync: IOPS=14926.88  # 文件同步结果(每秒执行的文件同步操作数量)
  • IOPS：表示每秒能够执行的输入输出操作数量（IO per second）
  • MiB/s 和 MB/s：读写的数据量，表示单位不同。
    • 1 MiB = 1024 KiB = 1024 * 1024 字节
    • 1 MB = 1000 KB = 1000 * 1000 字节

延迟部分（单位：毫秒）

Latency (ms):
    min:               0.00        # 最小延迟
    avg:               0.61        # 平均延迟
    max:               396.70      # 最大延迟
    95th percentile:   0.14        # 第95百分位数延迟(显示了绝大多数操作的快速响应性能)
    sum:               159686.86   # 总延迟时间

        

3. 常见测试

举几种常见的例子，这里就不再描述准备数据了，直接运行命令。前面4个目录是为了描述不同方法，实际使用参考目录3.5

3.1. 按块大小测试

  • sysbench1.1 通过参数 --file-block-size 来控制I/O测试块大小

指定块大小为8k，随机读写

sysbench fileio --file-test-mode=rndrw --file-block-size=8k run
  • --file-test-mode=rndrw：指定测试模式为随机读写
  • --file-block-size=8k：指定I/O块大小为8k

        

3.2. 按读写策略测试

  • 测试磁盘读写性能通过参数 --file-test-mode 来控制，这里列举全部测试方法

顺序读取

sysbench fileio --file-test-mode=seqrd run

顺序写入

sysbench fileio --file-test-mode=seqwr run

顺序混合读写

sysbench fileio --file-test-mode=seqrewr run

随机读取

sysbench fileio --file-test-mode=rndrd run

随机写入

sysbench fileio --file-test-mode=rndwr run

随机混合读写

sysbench fileio --file-test-mode=rndrw run

        

3.3. 按读写比例测试

sysbench1.1 读写比例通过参数 --file-rw-ratio 来控制（默认6:4）。比如测试7:3，换算为n:1

  • 7 ÷ 3 = 2.3，所以2.3:1，参数设置 --file-rw-ratio=2.3
sysbench fileio --file-test-mode=rndrw --file-rw-ratio=2.3 run

测试结果

  • 读比例：8266 ÷ ( 8266 + 3593 ) = 0.7
  • 写比例：3593 ÷ ( 8266 + 3593 ) = 0.3

        

3.4. 按文件模式测试

  • sysbench1.1 通过参数 --file-io-mode 来实现不同的文件模式测试（默认同步）

同步模式（文件操作将按顺序执行，每次操作会等待数据写入完成后再返回结果。适合需要确保数据完整性和稳定性的场景）

sysbench fileio --file-test-mode=rndrw --file-io-mode=sync run

异步模式（文件操作会尽可能快地执行，不等待数据写入完成即返回结果。适合对性能要求较高、可以容忍少量数据丢失的应用场景）。某些平台可能不支持

sysbench fileio --file-test-mode=rndrw --file-io-mode=async run

内存映射模式（通过内存映射文件的方式进行文件 I/O 操作，可以提高访问文件的速度和效率，特别是对于大文件的读写操作）

sysbench fileio --file-test-mode=rndrw --file-io-mode=mmap run

        

3.5. 组合测试

  • 上述目录 3.1 ~ 3.4 主要为了区分不同的测试方法，所以并没有将参数组合，这里举个例子

1、准备数据（100个文件，共10G大小）

sysbench fileio \
    --file-num=100 \
    --file-total-size=10G \
prepare

        

2、演示两种不同的测试方法

方法一

sysbench fileio \
    --file-num=100 \
    --file-total-size=10G \
    --file-block-size=8k \
    --file-test-mode=seqrd \
    --file-io-mode=sync \
    --threads=100 \
    --time=60 \
    --report-interval=5 \
    --histogram=on \
run

测试块大小8k、顺序读同步模式、多线程测试100并发、共测试1分钟，每5秒输出1次结果、开启结果延迟直方图

方法二

sysbench fileio \
    --file-num=100 \
    --file-total-size=10G \
    --file-block-size=32k \
    --file-test-mode=rndrw \
    --file-io-mode=async \
    --threads=100 \
    --time=60 \
    --report-interval=5 \
    --histogram=on \
run

测试块大小32k、随机混合读写异步模式、多线程测试100并发、共测试1分钟，每5秒输出1次结果、开启结果延迟直方图

直方图效果图（显示了不同延迟时间的次数）

        

3、清理数据

sysbench fileio \
    --file-num=100 \
cleanup

标签：测试,--,读写,fileio,mode,file,磁盘,sysbench
From： https://blog.csdn.net/m0_61066945/article/details/140063438

相关文章

  • 如何在服务器上恢复RAID磁盘阵列
    在服务器上恢复RAID磁盘阵列的过程可以相当复杂，具体步骤取决于数据丢失的原因、RAID的级别（如RAID0、RAID1、RAID5、RAID6等）以及服务器的具体配置。一、评估与准备确认RAID状态：检查RAID控制器的状态，确认是否有磁盘故障或RAID配置错误。查看服务器的系统日志或RAID控制器的......
  • php函数入门学习（数组常见函数2 & 文件基础读写）
    //1、写一个函数，传入数组，返回数组中元素为数字且大于10的新结果数组functiongetNumArr($arr){  if(!$arr)return'请传入数组';  $arr2=array_filter($arr,function($v){    //echogettype($v)."<br>";    returngettype($v)==='inte......
  • 开发板测试手册——SPI FLASH 读写、USB WIFI 模块（2）
    前言本文适用开发环境：Windows开发环境：Windows764bit、Windows1064bitLinux开发环境：Ubuntu14.04.364bit虚拟机：VMware15.1.0U-Boot：U-Boot-2017.01Kernel：Linux-4.9.0、Linux-RT-4.9.0进行本文档操作前，请先按照调试工具安装、Linux开发环境搭建相关文档，安装......
  • sysbench压测数据库
    版本号：sysbench1.1        简介  sysbench是一个基于LuaJIT的可脚本多线程基准测试工具，最常用于数据库基准测试，支持单点读写、随机读写、混合读写等各种测试类型。  sysbench并非通过JDBC的方式连接数据库，而是通过专门的客户端依赖进行。比如MySQL通......
  • 基于mycat实现数据库的读写分离
    一、mycat分布式存储服务部署1.安装java运行环境（db01）[root@db01~]#yuminstall-yjava2.下载、解压mycat包#上传解压mycat程序包[root@db01~]#tarxfMycat-server-1.6.7.4-release-20200105164103-linux_.tar.gz -C/usr/local/[root@db01~]#ll/usr/local/......
  • 【Redis】主从配置和读写分离实现
    主从配置Master配置修改IP：192.168.0.100，端口：6378bind0.0.0.0port6378requirepass123456#关闭持久化appendonlynosave""#允许远程连接protected-modenoSlaveA配置修改IP：192.168.0.100，端口：6377bind0.0.0.0port6377requirepass123456#主密码masteraut......
  • 光纤存储重组raid磁盘阵列和raid数据恢复
    一、光纤存储重组RAID磁盘阵列1.确定故障类型：首先，需要确定RAID阵列的故障类型，如硬盘离线、性能下降等。这通常通过查看RAID控制器的状态信息。备份现有数据：如果可能，应在重组之前对现有数据进行备份，以防在重组过程中数据丢失。2.重组步骤移除硬盘：按照RAID阵列中的硬盘顺序，将......
  • 光纤磁盘柜盘阵列恢复
    一、确定故障类型：检查RAID阵列的状态，确定是否有硬盘离线、故障或性能下降。检查光纤磁盘柜的电源、连接线和控制器等硬件组件是否正常。备份现有数据：如果可能，通过备份或硬件工具对现有数据进行备份，以防在恢复过程中数据丢失。二、详细检查与诊断数据恢复准备：将所有硬盘从光......
  • 光纤存储重组RAID磁盘阵列的优缺点
    优点提高存储性能：RAID磁盘阵列通过组合多个硬盘，可以在多个硬盘之间并行读写数据，从而提高整体存储性能。这种并行处理能力使得RAID阵列在数据吞吐量方面远超过单个硬盘。增强数据可靠性：不同的RAID级别提供了不同的数据冗余和容错能力。例如，RAID1提供镜像备份，RAID5和RAID6则......
  • Linux磁盘-格式化&挂载
    作者介绍：简历上没有一个精通的运维工程师。希望大家多多关注作者，下面的思维导图也是预计更新的内容和当前进度(不定时更新)。Linux磁盘涉及到的命令不是很多，但是在实际运维中的作用却很大，因为Linux系统及业务都会承载到硬盘上。如果磁盘使用和配置不合理，可能会引起系统无法启......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99