首页 > 其他分享 >自动化建设度量

自动化建设度量

时间:2024-05-16 14:53:49浏览次数:21  
标签:覆盖率 稳定性 渗透 建设 水位 自动化 维度 度量

一、核心能力及建设要求

1、资产维度

 资产维度更多是在Case构建维度,如何构建出高质量自动化,主要从稳定性和覆盖率维度做引导;

  • 稳定性:希望能引导工程师关注测试用例执行结果,不断提升测试用例的可执行性和代码逻辑的正确性,用例执行通过率越高越好;
  • 覆盖率:希望能引导工程师通过用例尽可能全面的覆盖业务逻辑,通过不断提升不同维度的覆盖率水位,进而构筑代码质量的兜底守护线。覆盖率高不能完全说明代码质量高,但覆盖率低意味着代码质量存在一定程度的问题。

 

 

 

指标定义

稳定性

【要求】Case通过率

 >90%

自动化指标定义

 

覆盖率

【观察】代码覆盖率

-

【要求】核心接口覆盖率

>95%

【要求】核心场景覆盖率

>90%

说明:

  • case通过率取发布准入环节真实通过率

2、业务渗透维度

      如果做自动化测试我们只是为了高覆盖率、高稳定性这只是数字而已,我们真正要做的是用好自动化,让自动化能渗透变更各个环节,沉淀自动化从左侧->右侧全流程渗透模式,让工程师在过程中看到自动化价值,增强信心。

 

 

 

指标定义

左移(增量建设

【观察】提测渗透率

>85%

自动化指标定义

【要求】提测准入成功率

100%

【观察】增量代码覆盖

-

【要求】增量核心接口覆盖率

>90%

【要求】增量核心场景覆盖率

>90%

右移(质量兜底)

【要求】发布准入渗透率

>95%

【要求】发布准入成功率

100%

说明:

  • 渗透率维度当前要求为核心应用维度
  • 准入通过率包含打标后的整体通过率(部分情况下紧急发布,考虑到效率问题,某些成本高的失败case可以通过人工打标确认,排除风险)
  • 自动化大盘地址https://iwatch.cainiao-inc.com/#/dashboard/fbi/1096973

二、自动化度量

1、菜鸟卓越自动化指标体系

2、自动化综合水位分析

  • 客观指标体系的数据和菜鸟卓越指标集一一对齐
  • 自动化分按照菜鸟卓越体系,自动化专项总分满分10分来划定
  • 全栈下自动化成熟度可参照L1~L5的成熟度划分,主要看覆盖率、稳定性、业务渗透;菜鸟自动化水位建议加上平台能力、人部分的评定

成熟度

L1 (差)

L2 (一般)

L3 (良好)

L4 (优秀)

L5(卓越)

自动化分

   Score<2.5分 

2.5=<Score<5

5=<Score<7.5

7.5=<Score<8.5

8.5=<Score

综合描述

【覆盖率】无覆盖率度量,覆盖率不高

【稳定性】稳定性不高

【业务渗透】业务交付过程无度量

【平台能力】全人工测试,由人工全权操作执行测试过程

【人】部分测试工程师具备基础自动化能力

【覆盖率】有覆盖率度量,覆盖不高

【稳定性】稳定性不高,持续提升稳定性

【业务渗透】交付过程有度量,有部分渗透,主要在右侧兜底部分

【平台能力】开始尝试机器辅助部分用例的构建、执行等

【人】有自动化高级人才出现,但主要还是在测试工程师中

【覆盖率】持续建设覆盖率,开始分层自动化覆盖建设,部分维度覆盖率到较高水位(部分满足建设要求)

【稳定性】稳定性水位达到较高水位(>90%)

【业务渗透】开始全流程渗透,从右侧兜底逐步到测试左移,并且有最佳实践产出

【平台能力】特定场景机器预测意图,并完成Case的构建、执行、验证等

【人】自动化为必备技能,开始引入自动化人才体系,且人群开始延伸到开发

【覆盖率】分层覆盖度高(均满足建设要求)

【稳定性】稳定性水位达到高水位(>95%)

【业务渗透】全流程渗透已比较成熟,能支撑持续交付,持续发现问题。

【平台能力】 大部分场景机器预测意图,并智能完成Case的构建、执行、验证等

【人】成熟的自动化人才指引体系及组织阵营

【覆盖率】业界高水平的自动化度量体系、覆盖率高

【稳定性】稳定性水位达到高水位且持续稳定(>95%)

【业务渗透】全流程自动化的渗透,支持随测随发

【平台能力】 业界高自动化平台能力,全自动化测试

【人】代表业界自动化高水位

 

标签:覆盖率,稳定性,渗透,建设,水位,自动化,维度,度量
From: https://www.cnblogs.com/TestMa/p/18195931

相关文章

  • BOSHIDA AC/DC电源模块在工业自动化领域的应用探析
    BOSHIDAAC/DC电源模块在工业自动化领域的应用探析AC/DC电源模块是一种将交流电转换为直流电的电力转换设备,在工业自动化领域具有广泛的应用。本文将从稳定性、效率和可靠性三个方面对AC/DC电源模块在工业自动化领域的应用进行探析。 首先,AC/DC电源模块在工业自动化领域的应......
  • 如何汇报自动化测试的成果
    星球里有同学问了这样一个问题:自动化测试开展了一段时间,现在需要给领导汇报成果,该怎么汇报?表面看起来这是一个技术问题,实际上这是一个向上管理问题。那么该如何向领导汇报自动化测试创造的成果呢?我们不妨从它的源头出发,思考这几个问题:为什么做自动化测试?预期的目标和结果是什......
  • 接口自动化测试框架【python+requests+pytest+excel+allure+jenkins】
    一.在整个框架中需要用到哪些东西?1.python环境安装https://www.python.org/downloads/windows/下载解压后直接安装,选择Addpythontopath2.JAVA环境配置安装包下载地址:https://www.oracle.com/java/technologies/downloads/环境变量设置参数如下:●变量名:JAVA_HOME●变......
  • Cisco Catalyst Center 2.3.7.5-VA - 网络管理和自动化
    CiscoCatalystCenter2.3.7.5-VA-网络管理和自动化CiscoCatalystCenter-NetworkManagementandAutomation请访问原文链接:CiscoCatalystCenter2.3.7.5-VA-网络管理和自动化,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgCiscoCatalystCenter节约时......
  • VMWare Workstation 17命令行自动化测试高级用法详解
    VMwareWorkstation是一个强大的桌面虚拟化解决方案,允许用户在同一台物理机上运行多个虚拟机。虽然VMwareWorkstation主要提供图形用户界面(GUI)来管理虚拟机,但它也支持命令行工具来执行一些高级任务和自动化操作。VMwareWorkstation本身并不直接提供一套完整的命令行工......
  • Selenium4自动化测试8--控件获取数据--上传、下载、https和切换分页
    系列导航一、Selenium4自动化测试1--Chrome浏览器和chromedriver二、Selenium4自动化测试2--元素定位By.ID,By.CLASS_NAME,By.TAG_NAME三、Selenium4自动化测试3--元素定位By.NAME,By.LINK_TEXT和通过链接部分文本定位,By.PARTIAL_LINK_TEXT,css_selector定位,By.CSS_SELECTOR四、j......
  • Selenium4自动化测试7--控件获取数据--radio单选框、select下拉框选择、iframe
    7-radio单选框 importtimefromseleniumimportwebdriverfromselenium.webdriver.common.byimportBy#定义一个driver的变量,用来接收实例化后的浏览器#指定浏览器的位置,解决浏览器驱动和浏览器版本不匹配的问题chrome_location=r'D:\pythonProject2023\Seleni......
  • 接口自动化框架【python+requests+pytest+allure】需要安装的依赖包
    attrs23.2.0certifi2024.2.2cffi1.16.0charset-normalizer3.3.2colorama0.4.6cryptography42.0.5h110.14.0idna3.6iniconfig2.0.0outcome1.3.0.post0packaging24.0pluggy1.4.0pycparser2.21pyOpenSSL24.1.0PySocks1.7.1pytest8.1.1selenium4.2.0sniffio1.3.1......
  • 会自动化就能拿20K?不,你这顶多算会点皮毛···
    现在招个会自动化测试的人是真难呀~前一段时间公司计划要招2个自动化测试到岗,同事面试了十几个来应聘的人,发现一个很奇怪的现象,在面试的时候,如果问的是框架API、脚本编写这些问题,基本上所有人都能对答如流,等问到实战项目的时候,类似“怎样从0开始搭建自动化测试体系”“让你来推广......
  • 一键自动化博客发布工具,用过的人都说好(51cto篇)
    51cto是一个优秀的博客平台,今天给大家讲解一下blog-auto-publishing-tools如何自动发布博客到51cto上。当然在实现过程中有可能会遇到各种困难,不过不用担心,我们一个个来解决。前提条件前提条件当然是先下载blog-auto-publishing-tools这个博客自动发布工具,地址如下:https://gi......