银行业数据中心性能测试案例——容量测试案例C

1、案例背景
在互联网技术快速发展的大背景下，基于“互联网+培训”的理念，利用信息通信技术以及互联网平台，将在线培训理念和互联网技术相融合，银行业全新的在线培训平台H系统应运而生。

2、需求分析
不同的群体关注的性能测试目标是不同的，所以，性能测试需求分析可以从业务需求角度和运行维护角度两个方面进行分析。
H系统的性能需求：
交易1：学习视频
步骤：登录、播放视频
平均响应时间：登录2秒、播放时间15秒
系统容量要求：同时3000个用户学习视频

交易2：参加考试
步骤：登录、开始答题、提交答卷
平均响应时间：登录2秒、开始答题2秒、提交答卷2秒
系统容量要求：同时10000个用户参加考试

3、评价指标
应用系统的性能需要有评价指标来衡量。不同的群体对性能的关注点不同，用户更关注联机交易的处理效率，而运行维护人员更关注系统的资源消耗。对于H系统来说，可以从用户角度和系统角度两个方面来设计性能测试的评价指标。
评价指标1：
交易：学习视频、参加考试
步骤、平均响应时间、最大响应时间，交易成功率，最大并发用户数

评价指标2：
指标类型：CPU、内存、磁盘、网络

4、场景设计
4.1学习视频单业务场景
4.2考试测试场景
4.3混合业务场景

5、测试执行
5.1在本案例中选择loadrunner作为压力发起工具，模拟用户登录系统、播放视频和参加考试等一系列行为。
5.2在本案例中采用ZABBIX实时监控系统资源使用情况，包括CPU、内存、网络、磁盘以及数据库连接数等。

6、测试结果分析
6.1学习视频单业务场景
在2000vusers学习视频课程测试场景中，选择课程中心、选择课程、选择视频、播放视频等步骤的平均响应时间小于2秒，交易成功率100%。
另外，流媒体服务器的cpu峰值达到90.5%，峰值网络流量达到108.2MB/s。另外在执行场景过程中，通过手动登录学习视频、视频播放未出现卡顿。
6.2考试测试场景
在10000vusers考试测试场景中，“在线考试、进入考试、开始考试、提交答卷”各个步骤的响应时间小于1秒，交易成功率99.82%。
其中，数据库服务器6的cpu峰值使用率达到98.2%，全文搜索服务器和缓存服务器的网络峰值流量分别达到49.3MB/S和33.1MB/S,反向代理服务器和搜索服务器存在内存换页。

7、典型问题
7.1登录响应时间长，在执行2000Vusers的学习视频测试场景中，登录步骤的平均响应时间达到12秒。通过数据库监控工具显示登录步骤存在慢的sql，此sql执行全表扫描，未建立索引。解决方案给sys_baseuser表增加索引index_3,增加索引以后，重新执行2000Vusers的学习视频测试场景中，登录的平均时间小于2秒。
7.2系统资源存在瓶颈
从上述的结果来看，应用服务器和全文搜索服务器CPU资源使用接近100%，CPU存在瓶颈；应用服务器的内存存在换页现象，内存存在瓶颈。将应用服务器以及一台全文检索的服务器的资源配置由4C/8GB扩容至8c/16GB。服务器的内容扩充之后，相应的调整JVM虚拟内存的大小，最小值由1GB调整为4GB,最大值由4GB调整为12GB。
7.3登录成功率低，登录成功率低于99%，报错信息为“请输入正确的图片验证码”，此问题是高并发的时候，打开的首页的时候未生成验证码，这个是属于第三方插件的bug。
7.4应用服务器空指针错误，java.lang.NullPointerExcepton:null,此问题经过项目组排查，此问题是应用程序的判断逻辑问题。