一、核心能力及建设要求
1、资产维度
资产维度更多是在Case构建维度,如何构建出高质量自动化,主要从稳定性和覆盖率维度做引导;
- 稳定性:希望能引导工程师关注测试用例执行结果,不断提升测试用例的可执行性和代码逻辑的正确性,用例执行通过率越高越好;
- 覆盖率:希望能引导工程师通过用例尽可能全面的覆盖业务逻辑,通过不断提升不同维度的覆盖率水位,进而构筑代码质量的兜底守护线。覆盖率高不能完全说明代码质量高,但覆盖率低意味着代码质量存在一定程度的问题。
指标定义 |
|||
稳定性 |
【要求】Case通过率 |
>90% |
|
覆盖率 |
【观察】代码覆盖率 |
- |
|
【要求】核心接口覆盖率 |
>95% |
||
【要求】核心场景覆盖率 |
>90% |
说明:
- case通过率取发布准入环节真实通过率
2、业务渗透维度
如果做自动化测试我们只是为了高覆盖率、高稳定性这只是数字而已,我们真正要做的是用好自动化,让自动化能渗透变更各个环节,沉淀自动化从左侧->右侧全流程渗透模式,让工程师在过程中看到自动化价值,增强信心。
指标定义 |
|||
左移(增量建设 |
【观察】提测渗透率 |
>85% |
|
【要求】提测准入成功率 |
100% |
||
【观察】增量代码覆盖 |
- |
||
【要求】增量核心接口覆盖率 |
>90% |
||
【要求】增量核心场景覆盖率 |
>90% |
||
右移(质量兜底) |
【要求】发布准入渗透率 |
>95% |
|
【要求】发布准入成功率 |
100% |
说明:
- 渗透率维度当前要求为核心应用维度
- 准入通过率包含打标后的整体通过率(部分情况下紧急发布,考虑到效率问题,某些成本高的失败case可以通过人工打标确认,排除风险)
- 自动化大盘地址https://iwatch.cainiao-inc.com/#/dashboard/fbi/1096973
二、自动化度量
1、菜鸟卓越自动化指标体系
2、自动化综合水位分析
- 客观指标体系的数据和菜鸟卓越指标集一一对齐
- 自动化分按照菜鸟卓越体系,自动化专项总分满分10分来划定
- 全栈下自动化成熟度可参照L1~L5的成熟度划分,主要看覆盖率、稳定性、业务渗透;菜鸟自动化水位建议加上平台能力、人部分的评定
成熟度 |
L1 (差) |
L2 (一般) |
L3 (良好) |
L4 (优秀) |
L5(卓越) |
自动化分 |
Score<2.5分 |
2.5=<Score<5 |
5=<Score<7.5 |
7.5=<Score<8.5 |
8.5=<Score |
综合描述 |
【覆盖率】无覆盖率度量,覆盖率不高 【稳定性】稳定性不高 【业务渗透】业务交付过程无度量 【平台能力】全人工测试,由人工全权操作执行测试过程 【人】部分测试工程师具备基础自动化能力 |
【覆盖率】有覆盖率度量,覆盖不高 【稳定性】稳定性不高,持续提升稳定性 【业务渗透】交付过程有度量,有部分渗透,主要在右侧兜底部分 【平台能力】开始尝试机器辅助部分用例的构建、执行等 【人】有自动化高级人才出现,但主要还是在测试工程师中 |
【覆盖率】持续建设覆盖率,开始分层自动化覆盖建设,部分维度覆盖率到较高水位(部分满足建设要求) 【稳定性】稳定性水位达到较高水位(>90%) 【业务渗透】开始全流程渗透,从右侧兜底逐步到测试左移,并且有最佳实践产出 【平台能力】特定场景机器预测意图,并完成Case的构建、执行、验证等 【人】自动化为必备技能,开始引入自动化人才体系,且人群开始延伸到开发 |
【覆盖率】分层覆盖度高(均满足建设要求) 【稳定性】稳定性水位达到高水位(>95%) 【业务渗透】全流程渗透已比较成熟,能支撑持续交付,持续发现问题。 【平台能力】 大部分场景机器预测意图,并智能完成Case的构建、执行、验证等 【人】成熟的自动化人才指引体系及组织阵营 |
【覆盖率】业界高水平的自动化度量体系、覆盖率高 【稳定性】稳定性水位达到高水位且持续稳定(>95%) 【业务渗透】全流程自动化的渗透,支持随测随发 【平台能力】 业界高自动化平台能力,全自动化测试 【人】代表业界自动化高水位 |
标签:覆盖率,稳定性,渗透,建设,水位,自动化,维度,度量 From: https://www.cnblogs.com/TestMa/p/18195931