什么是性能测试?
系统在一定的压力情况下,查看cpu,内存,磁盘,网络带宽,TPS、响应时间、并发用户数、等各项指标,通过模拟生产运行的业务压力量和使用场景组合,测试系统的性能是否满足生产性能要求,就是在特定的运行条件下验证系统的能力状况。
性能测试测什么?关注点是什么?
程序的响应时间,系统的吞吐量,以及并发用户数,和tps,qps,以及DB的IOPS和服务器的系统资源(cpu和内存)通过一定的工具或代码的方式,来验证被测试的程序是否满足性能测试的目标,以及验证程序是否会出现OOM,系统崩溃,系统无响应等情况。
用户视角
在用户的角度而言,软件性能就是用户操作的响应时间,一般而言关于响应时间业界说法如下
1~3秒,属于优的表现
3~5秒,可以接受,属于中间表现
5秒以上,无法接受
运维视角
运维除了关注响应时间外,也会关注更多底层的资源信息,这些资源信息具体汇总如下
系统资源(cpu和内存)
数据库资源(IOPS资源)
JVM资源是否够用
系统的最大容量
开发视角
开发的关注度会更加的全面,毕竟代码都是程序员来编写的,具体可以汇总为如下: • 前后交互的响应时间 • 中间件的参数设置 • 内存释放泄露(OOM):使用的内存不释放一直占用超过使用内存时就会出现OOM • 连接数泄露:占用的连接数超过了使用连接数 • 是否存在不合理的内存使用方式 • 是否存在不合理的线程同步方式 • 系统中是否存在不合理的资源竞争 • 系统架构&代码结构
系统最大处理的任务数(参数需要自行配置): 1亿,但是不能同时进行支付,5千万可以同时进行,另外的5千万就可以排队处理,排队的策略是什么?----》按照线程的优先级来设置的 每个任务都是有优先级的,那么最大优先级是10,最小是1,默认是5 在系统资源不紧张的时候,优先级不是那么特别的突出 但是在系统资源特别紧张的时候,那么优先级高的优先执行
测试视角
用户关注的视角属于全栈性的,需要考虑用户视角的产品体验,也要监控以及关注运维视角和开发视角,所以性能测试中测试的具体工作职责可以总结为: • 设计合理的场景和测试用例来验证系统的资源数据 • 验证在高并发的情况下架构是否满足 • 给架构师以及开发人员提供中间件配置参数的合理值范围 • 使用技术手段监控系统,DB,中间件,全链路监控的方式来监控系统资源情况
什么是线程同步? A和B两个任务,有100张车票,A和B同时进行抢购100张 加锁机制:A操作的时候,B不能操作,A操作完了,B才能够操作
WEB前端
所谓前端的性能目前也是性能测试中比较热门的技术之一,关注的点具体汇总为如下: • 浏览器的资源加载(HTML解析,图片资源加载,CSS文件资源加载) • 前端缓存技术的优化是否合理性 • 前端与后端的交互性耗时
vue--->nginx :web server django:应用服务 MySQL:data server
响应时间:request请求时间与response响应时间之和
⼀次操作完成的时间,也就是客户端发送请求到服务端后,服务端返回到客户端的响应数据的时间。包含了⽤于等待和服务的时间,也包括⽤来返回结果的时间。响应时间=⽹络时间+应⽤程序的处理时间
并发数
并发数(并发度):指系统同时能处理的请求数量,同样反应了系统的负载能力。
吐吞量
吞吐量是指系统在单位时间内处理的请求数量,TPS、QPS都是吞吐量的常用量化指标。
TPS:每秒的事务数
QPS:每秒的查询率
并发用户数:性能测试的核心是验证当前系统能否支持现有用户的访问,(也就是说系统在同一时间段可以承受多少用户来访问系统)
并发用户数:可以说:不论从业务视角出发,还是服务端承受压力而言,描述的是同一时间同时向客户端发出请求的客户,某些时候也称为“并发测试”。这中间主要体现的是服务端承受的最大并发访问数。
吞吐量指的是操作的速度,也就是每秒操作数或者每秒业务数。或者也可以说单位时 间内客户端请求的数量,直接体现系统的性能承载能力。
使用率
对于服务所请求的资源,使⽤率描述的是所给定的时间区间内资源的繁忙程度。对于存储资源来说,使⽤率指的就 是所消耗的存储容量。如⼀个业务中,会使⽤⼤量的内存资源,总的内存资源是4G,在⼀定数据量的情况下执⾏该 业务形态,内存使⽤率从100M⼀直占⽤到3G,然后随着业务形态内存资源得到释放呈下降的趋势,那么可以说内 存使⽤率最⾼为75%,可能会存在OOM的错误信息,也可能会存在内存泄露的情况。所以使⽤率分两个维度,⼀ 个是系统资源的使⽤率,另外⼀个是系统内部署服务对系统资源的使⽤率。
思考时间
思考时间英文名称是Think Time,也称为休眠时间,在业务视角,思考时间指的是用户在进行操作时,每个请求之间的间隔时间。
IOPS(读写速度)
该术语主要是针对数据库的,也就是每秒发⽣的输⼊/输出操作的次数,是数据传输的⼀个度量⽅法。⽤于磁盘的 读写,IOPS值的是每秒读和写的次数。
TPS/QPS
事务指的是某个操作或者是⼀组操作的组合,如登录的事务那么就是输⼊账户和密码,点击登录按钮跳转到登录成 功的⻚⾯并且信息都加载出来。TPS统计的是每秒处理的事务数,即系统每秒能够处理的事务的数量。QPS指的是 每秒查询率,如DB服务器在规定时间内处理流量多少的衡量标准。
软件性能测试理论
资源调度:
在计算机里面,操作系统运行的最小单位是进程,而进程最小的运行单位是线程。线程在计算机执行的时候,是由操作系统来进行分配资源的,操作系统根据调度的算法来分配以及决定那个线程可以执行,那个线程暂时不能执行。抢占式调度:根据任务的优先级,优先级高的优先分配资源,优先级低的,后分配资源。操作系统通过什么来分配资源了?是通过操作系统的时间分片,结合调度的算法来分配资源
在操作系统级别,专 业的来说,调度器可以理解为:CPU时间划分给活跃的进程和线程,⽽且维护⼀套优先级的机制,这样更重要的⼯ 作可以更快的执⾏,调度器会跟踪所有ready-to-run状态的进程。
调度器(调度策略)可以动态的调优先级来提升工作负载的性能,工作负载可以做如下区分:
CPU密集型:
应⽤程序执⾏繁重的计算,通常运⾏时间⽐较⻓,会占⽤⼤量的CPU
cpu:计算型的程序 程序存在大量的计算,比如海量数据筛选出具体的数据
IO密集型:
应⽤程序执⾏I/O,计算不多,会占⽤⼤量的内存资源 系统的最⼩粒度是线程,也就是说系统调度中粒度最细的就是对线程的调度。
io:读写类的程序,程序存在大量的文件IO的读写,比如优惠卷发放,短信营销
CRM:客户关系管理系统
等待队列
在程序中,都会涉及到等待队列的,不管是同步交互还是异步的交互中,都会涉及它的最⼤队列,这样设计的核⼼ 思想是防⽌在客户端⾼并发的情况下服务端在没有队列的情况下出现雪崩以及最终导致服务端出现瘫痪,因此队列 等待是⾮常核⼼并且是⾮常有必要的。在等待队列中,测试需要得出如下⼏个性能数据: 1、队列设置的值是多少?最⼤可以运⾏的任务是多少? 2、需要测试到排队的策略机制,也就是说模拟⼤批量的程序进⾏排队,然后⼀个任务执⾏结束后,队列位置释放 ⼀个,等待中的可以⽴刻进⼊然后执⾏,这中间就设计到先进先出还是先进后出,以及线程优先级的设计策略 3、线程在排队的过程中,设置最⼤的等待时间是多少,也就是说⼀个线程不可能永远处于等待中,那么等待多 久,还是没到执⾏的阶段,这个时候服务针对排队等待的线程处理的机制是?这个时间专业术语就是:访问等待时 间 4、那么⼀个线程完整的时间是由三部分组成的,响应时间:客户端发起请求的时间+访问等待时间+逻辑执⾏时间 +返回给客户端的时间。⼀般在测试中,可以把每个线程名称设置为uuid,这样它都是独⽴的,可以依据这个 uuid,让开发同学配合输出每个阶段的时间输出,然后就可以得到每个阶段的具体时间了,根据时间再来判断时间 是否优化。
队列:Queue 规范:First In First Out ----》先进先出 队列方法: put:往队列里面放数据 get:取出队列里面的数据 empty:判断队列是否为空
队列注意事项: 1、当队列满了的时候,再往里面放的时候是无法放的,如果是程序,就会卡死 2、当队列为空的时候,再取出数据,也会卡死
生产者消费者模式: 生产者(Producer) :不断的生产数据,使用的方法是put 消费者(Consumer):不断的消费数据,使用的方法是get
性能测试模型
性能测试模型也可以理解为性能测试步骤,具体汇总为如下:
• 测试前期准备 • 测试工具技术引入 • 性能测试计划 • 测试设计与开发 • 测试执行与管理,数据收集 • 测试分析
• 测试前期准备
1、梳理性能的目标(性能测试的目标是测试主导,然后测试制定出来后,和团队里面其他相关的人一起决定) 性能测试的目标参考依据是什么?是产品的需求文档以及产品的用户体量和系统的架构 2、性能测试的数据 3、性能测试场景的设计以及性能测试用例的设计
• 测试工具技术引入
1、LoadRunner:HP公司研发的工业级别的性能测试工具,是收费的一款性能测试工具 2、JMeter:100%使用Java语言研发的性能测试工具,是开源的,互联网公司基本使用的都是该性能测试工具 3、Locust:是基于Python的协程来设计的性能测试工具,需要编写Python代码来进行性能测试 4、Gatling:是微服务架构下高性能的性能测试工具
• 性能测试计划
1、明确每个性能测试的任务开始的时间和结束的时间 2、明确每个任务的具体负责人 3、明确性能测试工具
• 测试设计与开发
1、使用选择好的工具/代码,来设计场景/编写代码来测试设计好的性能测试用例
• 测试执行与管理,数据收集
1、多次测试执行,收集每次性能测试的数据(系统资源:CPU和内存,数据库资源:连接数和IOPS,JVM资源:内存资源 响应时间:最大,最小,平均,中位数,90%,95%,99%,吞吐量) 2、数据收集后的数据可视化展示
• 测试分析
1、实际收集的结果,来得到最终的结论:吞吐量,响应时间等等,与期望的目标进行对比,来判断是否达到目标
性能测试的注意事项:
面试题
1、在性能测试 之前,请根据顺序简述下需要有哪些测试准备工作?
A、梳理出性能测试的目标
B、在目标清楚的基础上,梳理出测试场景和准备性能测试的数据
2、性能测试过程中,开发说需要添加服务器性能测试才能继续,此时你会?
测试环境服务器的配置与生产环境服务器的配置必须一致,这样得出的结论才有参考价值。
3、日常用什么工具进行性能测试?性能测试需要的重要指标?
工具: LoadRunner、 JMeter、 Locust、 Gatling
指标:系统资源(cpu和内存),数据库资源(连接数和iops),JVM资源(内存资源)、响应时间(最大、最小、平均、中位数)、吞吐量。
性能测试是怎么做的?请描述下
首先我们会对需求进行分析,开会讨论本次测试需要达成的性能目标,然后测试负责人会制定测试计划,其中包含本次性能测试的起止时间,分割模块的负责人,测试计划制定完成后,按照计划编写测试用例,用例编写完成后,对测试用例进行评审,然后按计划执行,记录执行用例时产生的数据,并尽量保证重复执行,保证数据的准确性,用例执行完毕后,统计数据,得出测试数据分析表,对比预期结果,判断本次性能测试是否达成目标
描述下你是怎么理解IOPS,吞吐量,TPS,QPS的?
IOPS:每秒读写的次数
并发用户数:同一时间内访问系统的用户数量
吞吐量:单位时间内系统处理客户的请求数量
TPS:每秒处理的事务数
QPS:每秒的查询率
思考时间:也称休眠时间,指用户在进行操作时,每个请求之间的间隔时间。
你是怎么理解软件的性能的?
性能对软件而言是一个指标,是衡量软件用户体验最核心的指标之一,给用户最直观的感受就是响应时间。
产品的性能指标有很多,但是主要的是响应时间和吞吐量
标签:队列,性能,线程,内存,测试,时间,理论 From: https://www.cnblogs.com/wrwangrong/p/16592564.html