首页 > 其他分享 >精准测试之探索

精准测试之探索

时间:2024-09-26 18:01:25浏览次数:8  
标签:快照 探索 覆盖率 代码 测试 JaCoCo 精准

                   

![](https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/21d7663a765f4304acb6c288c3b15696~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMjYzNDg1NDM4MDM0MDAwOCJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1727939855&x-orig-sign=fundaXJYDQd1VVSVXDuEzXymXK0%3D)
••
•成熟度模型的五级划分
![](https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/a28b3ad8bce7482d91644011f8528569~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMjYzNDg1NDM4MDM0MDAwOCJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1727939855&x-orig-sign=WSCdE8rfmkOAOpEZYT58fItWFn8%3D)
••
# **三、知识与技能**
这里介绍两款,分别为JAVA和C/C++相关,
第一,开发的基础和核心(编程)知识及所需要用到的版本管理工具(GIT)等。
第二,领域特定的知识、技术需要具备如下:
JAVA:Javassist(官网- <https://www.javassist.org/> ),
ASM3.0(官网- <https://asm.ow2.io/> ),
JaCoCo(官网- <https://www.eclemma.org/jacoco/>)。
C/C++:汇编、反汇编,PE,逆向工程(IDA)。
要用C/C++实现,通用与效率等方面没得说,但各协议的插桩,代码信息的收集,复杂程度和工作量都不是一般人所能承受,要做好心里建设。
直接使用JaCoCo需要注意覆盖率的误差,一些语句行,分支层级,其误差会被指数级放大。其更适用于偏向辅助个人开发者和小型项目组对项目覆盖率进行非常基础的评估。
•误差产生的具体成因:
1.复杂系统通常由大量子模块组成,JaCoCo无法实现对于内部被调用的子模块进行插装,因此对于子模块覆盖率的评估会产生显著的误差。
2.如果某个子模块没有被调用,那么对于JaCoCo来说,该模块内的方法等同于不存在。JaCoCo需要调用该子模块,才能将该子模块内的代码计入覆盖率计算的“分母”。
3.除了几种既定的逻辑意外事件,JaCoCo无法正确处理例外情况(Exception),如果在控制流程中遇到Exception,JaCoCo会把这种情况直接标记为未覆盖,这种判定方式直接的影响到了对程序逻辑关系的把控,造成对于覆盖率无法准确评估。
•误差引发的后果:
1.伪瓶颈的产生,以及对测试质量的错误高估。第一种情况,测试人员投入大量工作之后,却无法进一步提升覆盖率,造成对资源和实践的浪费;第二种情况,会让用户误将未达标的系统判定为达标,有可能引发严重的生产事故。
2.无法实现缺陷定位,大量的算法和应用依托覆盖率的输入,而缺陷定位更是其中最主要的实践。
3.回归测试的精准度,受到了严重的影响。
•无损插桩技术(推荐)
![](https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/050a0e0d5a094bd089222cde57803ba0~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMjYzNDg1NDM4MDM0MDAwOCJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1727939855&x-orig-sign=m9PR9bZhRcThuPcsQT%2F2q5J45ls%3D)
••
精准测试推出的SABI和SASI是中国自己的技术
 

一、怎样的技术

•百度百科:

精准测试是一套计算机测试辅助分析系统。

精准测试的核心组件包含的软件测试示波器、用例和代码的双向追溯、智能回归测试用例选取、覆盖率分析、缺陷定位、测试用例聚类分析、测试用例自动生成系统,这些功能完整的构成了精准测试技术体系。

•其他定义

精准测试是中国自己有知识产权的完全的理论体系,它同时关注功能点和代码相关逻辑这样一个方法论,是一种灰盒的测试模式。

最开始在2014年的国际软件测试大会上发布精准测试的时候,它叫穿线测试,英文名字叫Threading Test,表达了精准测试的本质,Threading这个英文单词本身有两个含义,一个是穿线一个是线程,建立用例和代码的关系,相当于把黑盒和白盒关联起来,做黑盒测试也能看到白盒数据,同时把开发和测试能够关联起来,测试一做完,开发的逻辑马上就能自动生成。另一个层面,精准测试最本质就是线程测试,因为精准测试基于覆盖率白盒理论产生,它跟白盒最大的区别是它的覆盖率是线程级的,也就是说要追溯到用例这个级别。

二、技术发展

•历史发展

 

 

•成熟度模型的五级划分

 

 

三、知识与技能

这里介绍两款,分别为JAVA和C/C++相关,

第一,开发的基础和核心(编程)知识及所需要用到的版本管理工具(GIT)等。

第二,领域特定的知识、技术需要具备如下:

JAVA:Javassist(官网- https://www.javassist.org/ ),

ASM3.0(官网- https://asm.ow2.io/ ),

JaCoCo(官网- https://www.eclemma.org/jacoco/)。

C/C++:汇编、反汇编,PE,逆向工程(IDA)。

要用C/C++实现,通用与效率等方面没得说,但各协议的插桩,代码信息的收集,复杂程度和工作量都不是一般人所能承受,要做好心里建设。

直接使用JaCoCo需要注意覆盖率的误差,一些语句行,分支层级,其误差会被指数级放大。其更适用于偏向辅助个人开发者和小型项目组对项目覆盖率进行非常基础的评估。

•误差产生的具体成因:

1.复杂系统通常由大量子模块组成,JaCoCo无法实现对于内部被调用的子模块进行插装,因此对于子模块覆盖率的评估会产生显著的误差。

2.如果某个子模块没有被调用,那么对于JaCoCo来说,该模块内的方法等同于不存在。JaCoCo需要调用该子模块,才能将该子模块内的代码计入覆盖率计算的“分母”。

3.除了几种既定的逻辑意外事件,JaCoCo无法正确处理例外情况(Exception),如果在控制流程中遇到Exception,JaCoCo会把这种情况直接标记为未覆盖,这种判定方式直接的影响到了对程序逻辑关系的把控,造成对于覆盖率无法准确评估。

•误差引发的后果:

1.伪瓶颈的产生,以及对测试质量的错误高估。第一种情况,测试人员投入大量工作之后,却无法进一步提升覆盖率,造成对资源和实践的浪费;第二种情况,会让用户误将未达标的系统判定为达标,有可能引发严重的生产事故。

2.无法实现缺陷定位,大量的算法和应用依托覆盖率的输入,而缺陷定位更是其中最主要的实践。

3.回归测试的精准度,受到了严重的影响。

•无损插桩技术(推荐)

 

 

精准测试推出的SABI和SASI是中国自己的技术

SABI,SouceCode Analyzer ByteCode Intrumentation,就是说源码分析,字节码查看,观测和分析是在源码,插桩是在字节码。

SASI,SouceCode Analyzer SouceCode Intrumentation,这是传统商用白盒最基础的技术,有时候对源码进行分析,直接在源码插装。源码插装以后,代码经过高级语言、高级编译器的编译,直接生成最后发布包。这种是完全无损的标准技术,插装代码经过编译器编译后执行可靠性更高。

四、总结与介绍

大纲

 

 

1、测试范围,代码分析

2、差异化

 

3、调用关系

4、度量与分析

 

 

5、质量评估

6、知识库兼优化

7、用例预分析

8、自动化测试与精准测试

五、平台

>设计思路

从产品的需求、功能模块,开发的代码到测试的用例,从正向到逆向的覆盖,追溯和可视。

 

 

>大纲

 

 

>调用链与代码覆盖

使用的是插桩,有点类似C++中的Hook技术,获取所需数据信息。

 

 

协议,HTTP,MySql,Dubbo,Redis等,需要先进行分析,找到关键插桩位置,然后结合使用设计模式进行收集(所需)信息。

设计模式推荐两个,1、反射+适配器,2、动态代理。

需要注意,代码膨胀问题。

>影响范围

假如有个应用系统开发出A版本提测,通过前端功能发起HTTP接口,平台的实时快照收到HTTP接口信息,将该次的接口相关信息(类、方法、执行代码行数)保存为系统快照; 当A版本开发后变为A_01版本,使用平台对两次版本(Jar包或War包)进行比对,通过系统快照中信息会分析出变更项与影响项,如:类、方法、接口。

 

 

根据影响用例中的菜单与接口,到接口测试工具中进行执行。

 

 

>实现与应用

通过数据进行可视化,显示服务/应用的启动,拓扑图,调用链,代码覆盖,版本比对等信息。

 

 

>>项目列表

添加,服务/应用

 

>>项目动态

 

 

启动,服务/应用

 

1、搜索

可显示多个服务/应用的拓扑关系图

 

1)详情视图

 

 

 

•表结构,可查看接口与数据库表间的关联

 

•热点,可查看接口与数据库表的关联个数

 

2)展开快照

 

 

这里显示的节点是保存到系统快照的。

•表结构-数据库表,远程服务-调用的rpc接口,源码-代码关系图层;

 

 

 

 

•远程服务,显示远程调用接口,如dubbo接口;

 

 

•源代码关系图谱,可查看代码关联关系和覆盖程度;

 

 

•清除图谱,清除表结构、远程服务、源代码关系节点;

•详情页,跳转到快照详情页;

•概要,显示快照详情中图片;

•删除节点,删除显示的节点;

3)搜索

•搜索数据库表中,表名,字段名,筛选条件;

 

•搜索接口,HTTP接口;

 

2、监控台

通过HTTP接口实时获取到协议、代码相关信息,不同于通过单元测试得到代码覆盖率,然后将这些信息保存下来(我的快照和系统快照)。

 

 

1)实时监控

实时展示接口的调用链及链上各节点信息

 

2)我的快照

实时监控中可保存为我的快照,

2.1)调用链和链路分析的可视化

调用链即是服务与中间件的调用链拓扑图层;链路分析即是代码链路分析关系图谱。

•"流程图(拓扑图)"中可查看到覆盖后端及各中间件信息;

 

•"堆栈列表"中展示服务与中间件的应用名,类型,服务/方法,用时等信息;

 

•点击"</>"弹窗为代码图谱(代码链路分析关系图谱),点击某个节点,即显示某个方法的方法名称、执行到的代码行数、代码总数、代码覆盖率和圈复杂度信息,

 

 

 

 

根据某个尾节点,能寻到开始节点;

 

 

2.2)查看代码覆盖率报告

代码覆盖率信息列表,显示我的快照列表中所有覆盖率信息,类名、方法名、执行代码行数、方法行数、覆盖率、圈复杂度;

 

3、应用中心

1)在线应用

2)应用

2.1)系统快照

 

 

快照目录,点击链接进入系统快照详情页

系统快照详情页,基本信息页签

系统快照详情页,流程图页签

系统快照详情页,堆栈列表页签,点击</>打开代码关系图层(代码关系链)

 

2.2)版本比对

比对文件格式为Jar或War包,比对之后会产生记录报告

 

 

 

 

开始比对后的结果显示,能查看报告,显示差异项,(比对)日志输出(新增、修改、变更、删除的文件与方法,类与方法的影响数)

 

 

2.2.1)报告

比对成功后查看报告,显示变更项,影响用例,对比日志;点击影响用例链接,会跳转到(系统)快照详情页

 

 


 

参考

1、百度百科-精准测试, ****https://baike.baidu.com/item/精准测试/22355867

2、精准测试白皮书v3.0-2019最新版,作者:星云精准测试, https://wenku.baidu.com/view/fe7e99a401d276a20029bd64783e0912a2167c23.html

3、《不测的秘密-精准测试之路》,作者:TMQ精准测试实践团队。

4、源码阅读网:http://www.coderead.cn/home/index.html

5、网易严选的精准测试实践, https://www.infoq.cn/article/xuu91crqa4hcjz8uomjs

   

标签:快照,探索,覆盖率,代码,测试,JaCoCo,精准
From: https://www.cnblogs.com/Jcloud/p/18434011

相关文章

  • 在Bamboo上怎么使用iOS的单元测试
                sed"s/${moduleName}/Example/${moduleName}/${moduleName}/Classes/g"./cov_env1.txt>cov_env2.txt  cp-f./Pods/XcodeCoverage/env.sh./Pods/XcodeCoverage/env_bak.sh  rm-f./Pods/XcodeCoverage/env.s......
  • 探索EasyCVR视频融合平台:在视频编解码与转码领域的灵活性优势
    随着视频监控技术的飞速发展,各类应用场景对视频数据的处理需求日益复杂多样。从公共安全到智慧城市,再到工业监控,高效、灵活的视频处理能力成为衡量视频融合平台性能的重要标准。在众多解决方案中,EasyCVR视频融合平台凭借其在视频编解码、转码等能力上的强大灵活性,脱颖而出,成为行业......
  • 提升开发者效率的秘密武器:探索最佳编程工具
    哪个编程工具让你的工作效率翻倍?在现代工作环境中,选择合适的编程工具对提升开发者的工作效率至关重要。不同的软件工具具有独特的功能,能够帮助我们简化开发流程、提高代码质量、加快调试速度,甚至优化团队协作。接下来,我将介绍几款常见的编程工具,并分析它们的优缺点,帮助大家选......
  • 【项目实战】精准监测睡眠数据的进化之路
    项目场景:睡眠是人体正常生理活动的一部分,对人体的健康和身体功能恢复具有重要作用。睡眠监测功能已成健康手表手环等穿戴设备标配。在价格高度敏感的深圳电子消费市场,硬件配置的高低,使用算法的成熟度也能极大影响到睡眠数据精准度,但这都不是本文讨论的重点。全文主要探讨如何......
  • 探索数学之美:亲和数与程序实现
    摘要:本文以220和284的奇妙邂逅为引,探索了亲和数的神秘世界,并用C语言编织了一个寻找数字间“友谊”的程序。定义亲和数,指两个正整数中,彼此的全部约数之和(本身除外)与另一方相等比如220的所有因子之和(去除自身),为284284的所有因子和(去除自身),刚好也为220这样,我们就把它们两个称为一对亲......
  • 仅需6步,实现虚拟物体在现实世界的精准放置
    增强现实(AR)技术作为一种将数字信息和现实场景融合的创新技术,近年来得到了快速发展,并在多个应用领域展现出其独特的魅力。比如在教育行业,老师可以通过虚拟现实场景生动直观地帮助学生理解抽象概念;在旅游行业,AR技术还能虚拟历史文化场景、虚拟导航等,为游客提供更加沉浸的互动体验。然......
  • 20240926测试
    a题面:有一个\(n\timesm\)的\(01\)矩阵,求其中\(1\)的个数在\([l,r]\)的子矩阵数量题解:令\(f_k\)为\(1\)的个数\(\lek\)的子矩阵数量,答案为\(f_r-f_{l-1}\)。\(n\)较小,暴力枚举上下区间,在内用双指针维护和小于等于\(k\)的段,复杂度\(\text{O}(n^2m)\)。......
  • 仅需6步,实现虚拟物体在现实世界的精准放置
    增强现实(AR)技术作为一种将数字信息和现实场景融合的创新技术,近年来得到了快速发展,并在多个应用领域展现出其独特的魅力。比如在教育行业,老师可以通过虚拟现实场景生动直观地帮助学生理解抽象概念;在旅游行业,AR技术还能虚拟历史文化场景、虚拟导航等,为游客提供更加沉浸的互动体验。......
  • ECU电控软件开发及测试介绍
        伴随着电动化、智能化、网联化等技术发展的时代背景,各行各业电子电气架构都在发生深度变革。新型架构逐渐取代传统架构,比如汽车、工程机械、储能、船舶等领域,电子电气架构从传统分布式向域集中式,甚至向着中央集中式发展,控制器功能呈现集中化、复杂化的特点。为了提升开......
  • golang性能测试框架k6源码分析
    Golang性能测试框架k6是一个新兴的性能测试工具,其特点在于使用JavaScript作为测试脚本语言,并且基于Golang的强大性能进行构建。1.框架基础k6的启动框架使用了Golang的CLI标准框架cobra。cobra是一个用于构建CLI应用程序的库,它提供了丰富的命令解析和参数处理功能。在k6中,getRunCm......