1、性能指标分类
系统性能指标
资源性能指标
中间件指标
数据库指标
稳定性指标
可扩展性指标
可靠性指标
2、系统性能指标
响应时间
系统处理能力
吞吐量
并发用户数
错误率
2.1 响应时间
Response Time 简称RT,是指系统对请求作出响应的时间(处理请求的时间);
不同的功能的响应时间也不尽相同,所以讨论一个系统的响应时间时,通常指该系统所有功能的平均响应时间或者所有功能的最大响应时间
不同行业参考标准:
互联网:500毫秒以下,如淘宝业务10毫秒左右
金融:1秒以下为佳,复杂业务3秒以下
保险:3秒以下为佳
制造业:5秒以下为佳
响应时间的绝对值并不能直接反映软件的性能的高低,软件性能的高低实际上取决于用户对该响应时间的接受程度
2.2 系统处理能力
系统处理能力是指系统在利用系统硬件平台和软件平台进行信息处理的能力。有以下指标来度量:
HPS(Hits Per Second):每秒点击次数,次/秒
TPS(Transaction per second):系统每秒处理交易数(事务数),笔/秒
QPS(Query per second):系统每秒处理查询次数,次/秒
一般情况下用TPS来衡量整个业务流程,用QPS来衡量接口查询次数,用HPS来表示对服务器点击请求(越大越好)
不同行业参考标准:
金融:1000TPS—50000TPS
保险:100TPS----100000TPS
制造:10TPS-----5000TPS
互联网电子商务:10000TPS----1000000TPS
互联网中型网站:1000TPS—50000TPS
互联网小型网站:500TPS–10000TPS
2.3 吞吐量
吞吐量是指系统在单位时间内处理请求的数量
对于单用户系统,响应时间可以很好地度量系统的性能,但对于并发(多用户)系统,通常可以用吞吐量作为性能指标
2.4 并发用户数
并发用户数指在同一时刻内,登录系统并进行业务操作的用户数量
2.5 错误率
错误率 简称FR,指系统在负载情况下,失败交易的概率,错误率=(失败交易数/交易总数)*100%
参考标准:一般成功率不低于99.4%
3.资源性能指标
CPU
内存
磁盘吞吐量
网络吞吐量
3.1 CPU
CPU又称中央处理器,是一块超大规模的集成电路,是一台计算机的运算核心(core)和控制中心(Control Unit)。主要功能时解释计算机指令以及处理计算机软件中的数据。
行业参考标准:
CPU指标主要指的是CPU利用率,包括用户态(user),系统态(sys),等待态(wait),空闲态(idle)
CPU利用率 <=75%
CPU sys% <=30%
CPU wait% <=5%
3.2 内存
内存是与CPU进行沟通的桥梁,计算机所有程序的运行都是在内存中进行的,内存的性能对系统影响非常大。
行业参考标准:
为了最大利用内存,在内存中存放了缓存,因此内存利用率100%并不代表内存有瓶颈,衡量系统内存是否有瓶颈主要靠SWAP(与虚拟内存交换)交换空间利用率,一般低于70%,太多的交换将引起系统性能低下。
3.3 磁盘吞吐量
磁盘吞吐量简称Disk Throughput,是指在无磁盘故障的情况下单位时间内通过磁盘的数据量
行业参考标准:
磁盘指标有每秒读写多少兆,磁盘繁忙率,磁盘队列数,平均服务时间,平均等待时间,空间利用率。其中磁盘繁忙率是直接反映磁盘是否有瓶颈的重要依据,磁盘繁忙率要低于70%
3.4 网络吞吐量
Network Throughput,是指在无网络故障的情况下单位时间内通过的网络的数据数量。单位:Byte/s. 网络吞吐量指标用于衡量系统对于网络设备或链路传输能力的需求。当网络吞吐量指标接近网络设备或链路最大传输能力时,则需要考虑升级网络设备。一般不超过设备或链路的最大传输能力的70%
4. 中间件指标
常用的中间件例如Tomcat,weblogic等指标主要包括JVM,ThreadPool,JDBC
|GC频率 | 次/s | java虚拟机垃圾部分回收频率
|Full GC频率| 次/h | Java虚拟机垃圾完全回收频率
| Full GC平均时长 | 秒 | 用于垃圾完全回收的平均时长
| Full GC最大时长 | 秒 | 用于垃圾完全回收的最大时长
|GC堆使用率 | 百分比 | 堆使用率
|Active Thread Count| 个 | 活动的线程数
| Pending User Request |个 | 处于排队的用户请求个数
|JDBC Active Connection| 个| JDBC活动连接数
5.数据库指标
常用的数据库如MySQL指标主要包括SQL、吞吐量、缓存命中率、连接数
SQL 耗时 微妙 执行SQL耗时
吞吐量 QPS 个 每秒查询次数
吞吐量 TPS 个 每秒事务次数
命中率 Key Buffer命中率 百分比 索引缓冲区命中率
命中率 InnoDB Buffer命中率 百分比 InnoDB缓冲命中率
命中率 QueryCache命中率 百分比 查询缓存命中率
命中率 TableCache命中率 百分比 表缓存命中率
命中率 ThreadCache命中率 百分比 线程缓存命中率
锁 等待次数 次 锁等待次数
锁 等待时间 微妙 锁等待时间
行业参考标准:
SQL耗时越小越好,一般微秒级别
命中率越高越好,一般不能低于95%
锁等待次数越低越好,锁等待时间越短越好
6.稳定性指标
最短稳定时间:系统按照最大容量的80%或标准压力情况下运行,能够稳定运行的最短时间。
一般来说 对于正常工作日(8小时)运行的系统,至少应该能保证系统稳定运行8小时以上。
对于7*24小时运行的系统,至少保证稳定运行24小时以上
参考标准:
TPS曲线稳定,没有大幅度的波动
各项资源指标没有泄露或异常情况
7.可扩展性指标
是指应用软件或操作系统以群集方式部署,增加的硬件资源与增加的处理能力之间的关系。
计算公式:
(增加性能/原始性能)/(增加资源/ 原始资源) *100%
参考标准:
理想的扩展能力是资源增加几倍,性能就提升几倍。扩展能力至少在70%以上。
8.可靠性指标
对于服务端性能测试,从系统可靠性指标度量分析时,常见从三类来入手:
双机热备
集群
备份和恢复
8.1 双机热备
指标如下:
节点切换是否成功及其消耗时间。
双机切换是否有业务中断。
节点回切是否成功及其耗时。
双机回切是否有业务中断。
节点回切过程中的数据丢失量在进行双机切换的同时,使用压力发生工具模拟实际业务发生情况,对应用保持一定的性能压力,保证测试结果符合生产实际情况。
8.2 集群
对于使用集群方式的系统,主要通过以下方式考量其集群可靠性:
集群中某个节点出现故障时,系统是否有业务中断情况出现
在集群中新增一个节点时,是否需要重启系统
当故障节点恢复后,加入集群,是否需要重启系统
当故障节点恢复后,加入集群,系统是否有业务中断情况出现
节点切换需要多长时间在验证集群可靠性的同时,需根据具体情况使用压力工具模拟实际业务发生相关情况,对应用保持一定的性能压力,确保测试结果符合生产实际情况。
8.3 备份和恢复
本指标为了验证系统的备份/恢复机制是否有效可靠,包括系统的备份和恢复、数据库的备份和恢复、应用的备份和恢复,包括以下测试内容:
备份是否成功及其消耗时间。
备份是否使用脚本自动化完成。
恢复是否成功及其消耗时间。
恢复是否使用脚本自动化完成指标体系的运用原则。
指标项的采用和考察取决于对相应系统的测试目的和测试需求。被测系统不一样,测试目的不一样,测试需求也不一样,考察的指标项也有很大差别。
部分系统涉及额外的前端用户接入能力的,需要考察用户接入并发能力指标。
对于批量处理过程的性能验证,主要考虑批量处理效率并估算批量处理时间窗口。
如测试目标涉及到系统性能容量,测试需求中应根据相关指标项的定义,明确描述性能指标需求。
测试指标获取后,需说明相关的前提条件(如在多少的业务量、系统资源情况等)。