首页 > 其他分享 >探索智能化测试技术

探索智能化测试技术

时间:2022-10-18 11:47:49浏览次数:68  
标签:探索 AI 智能化 生成 测试用例 测试 自动化

摘要:随着软件迭代模式的不断发展,测试环节的自动化程度也得到了有效的、持续的提升,智能化测试是结合AI算法和测试数据对测试多个环节进行针对性的优化。

本文分享自华为云社区《【智能化测试专题】智能化测试技术探索》,作者: DevAI。

1. 发展阶段

测试是评估和验证输入是否能得到符合预期输出的过程。测试包含了软件测试和硬件测试。测试的早期萌芽是在20世纪50年代,主要是以调试为主,验证程序是否符合预期。1957年Charles Baker在《软件测试发展》中将测试和调试区分开来,提出了测试的概念,指出测试的目的不仅仅是验证还需要确认软件是否满足要求。1983年IEEE首次召开了软件测试的技术会议,并给出了软件测试的定义。IEEE定义的软件测试明确指出测试的目的是为了检验软件是否满足需求,它是一门需要经过设计、开发和维护等完整阶段的过程。随着软件研发模式从瀑布模式到敏捷模式再到DevOps(其各环节流程如图1所示),DevOps注重Dev、Ops和QA(Tester)之间的协同合作,因此为了达到产品质量的持续改进,对测试环节流程自动化与持续进行都提出了更高的要求。

图1. DevOps流程

为了应对日益增长的产品需求与繁重的测试任务,提升测试质量和测试效率,测试团队会把测试专项能力向服务化能力转型,建立自动化为主的测试能力。测试自动化的目的为了减少手工测试和手工操作,如图2所示,测试自动化包括了自动化环境创建与部署、生成测试数据、执行自动化测试,生成测试结果与日志。并对测试相关结果进行自动化监控与分析,自动生成测试报告,以便进行测试定位失败原因与快速修复。

图2 测试自动化流程

随着人工智能、机器学习在各个领域的广泛应用,以及应对日益增长的海量数据,自动化测试工具结合AI技术生成了更可靠有效的测试,改善了测试分析的效率等,加速现有的自动化测试需求和进程。 2018年Gil Tayar在文章《6 levels of AI-based testing: Have no fear, QA pros》说明了AI驱动测试的6个自动化阶段,如图3所示,从开始的人工分析与设计自动化测试,到更多环节结合AI辅助进行自动化测试的执行、设计与决策,测试自动化程度得到了有效的、持续的提升。

图3 AI驱动测试

2. 智能化测试

智能化测试主要指在持续追求提升研发交付效能下,人工智能技术在测试领域的应用,其本质是结合了AI算法和测试数据对测试多环节进行针对性的优化,具有更强的适应性和响应能力。智能化测试是当前阶段的热门,正在越来越广泛地深入到测试各环节中。智能化测试用例全周期涉及了三个主要关键阶段,包括用例生成,用例执行,用例分析。华为云智能化测试围绕这三个阶段,基于海量测试数据和AI算法辅助测试人员进行测试用例设计和用例生成、精准筛选测试用例执行以及测试数据智能分析。

2.1 智能测试用例生成

测试用例的生成当前主要靠人工设计,并且要求测试人员具有一定的经验和专业水平,随着云化产品的功能日趋复杂、迭代周期不断加快,完全基于经验人工设计的接口测试效率十分低下。因此需要设计一种测试用例自动生成方法。

华为云在智能测试用例生成的实践方面,提出了基于接口文档和现网流量数据的智能API测试生成技术,实现了单接口与多接口业务场景的双覆盖,做到真正帮助测试人员提高工作效率,并有力保障了云化产品质量。该生成服务的具体流程如图所示,其应用前景包括但不局限于以下几个方面:

1)对于小规模测试团队或无专职测试人员的全功能团队或测试小白,可基本实现少人参与或无人参与的无代码化高度自动化Rest 接口正常场景级测试用例生成,自动化执行和判定。

2) 对于有专职测试人员、测试专家的测试团队,可低成本提升测试场景覆盖率、缺陷拦截效率,减少测试设计投入。

3)可以正常场景API测试基础上实现异常场景 (可靠性测试)和并发场景(性能压力模型)的全自动化生成,完全替代现有接口fuzz测试,实现接口全场景测试无代码化。

2.2 回归测试用例优选

在日常开发测试活动中,面对项目版本的快速迭代,通常为避免引入缺陷和最早期发现尽可能多的缺陷,测试人员需要在代码小范围变动时进行测试用例的执行。同时,全量地对测试用例进行执行消耗人力、时间成本过高。华为云智能精准回归测试用例挑选,在区分黑盒(代码不可见)、白盒(代码可见)不同模式的情况下,黑盒模式根据测试用例历史执行结果预测用例失败率并进行排序,白盒模式通过挖掘代码源文件(函数)与测试用例的关联关系筛选测试用例,精准挑选和排序缺陷探测比高的测试用例进行,以最少的人力、时间成本,发现尽可能多的缺陷。

2.3 测试数据智能分析定位

随着软件规模的持续增长以及产品迭代周期的不断加快,自动化测试用例的数量越来越大,自动化测试工程中的失败日志数量也越来越多,人工分析工作量大、时间成本高。测试数据智能分析定位旨在结合智能化算法根据失败日志和相关测试数据分析可能存在的产品问题,提升分析效率。当前华为云测试智能分析是根据产品线测试日志数据特征,在通用的日志预处理后,依照日志量采用不同方式进行特征工程,生成日志特征后,基于随机森林、最近邻、强化学习、神经网络等来做模型融合,进行失败原因的定界与定位。

文章来自PaaS技术创新Lab,PaaS技术创新Lab隶属于华为云,致力于综合利用软件分析、数据挖掘、机器学习等技术,为软件研发人员提供下一代智能研发工具服务的核心引擎和智慧大脑。我们将聚焦软件工程领域硬核能力,不断构筑研发利器,持续交付高价值商业特性!加入我们,一起开创研发新“境界”!(详情欢迎联系 [email protected][email protected])

PaaS技术创新Lab主页链接:https://www.huaweicloud.com/lab/paas/home.html

参考文献

[1] What is DevOps, https://orangematter.solarwinds.com/2022/03/21/what-is-devops/

[2] 华为云DevOps敏捷测试之道, https://support.huaweicloud.com/reference-devcloud/devcloud_reference_040302.html

[3] 6 levels of AI-based testing: Have no fear, QA pros, https://techbeacon.com/app-dev-testing/6-levels-ai-based-testing-have-no-fear-qa-pros

[4] 基于语义感知SBST的API场景测试智能生成, https://bbs.huaweicloud.com/blogs/349307

 

点击关注,第一时间了解华为云新鲜技术~

标签:探索,AI,智能化,生成,测试用例,测试,自动化
From: https://www.cnblogs.com/huaweiyun/p/16802056.html

相关文章

  • 测试基础10问
    https://mp.weixin.qq.com/s?__biz=MzkwNTI2NjAxMA==&mid=2247484071&idx=1&sn=b53eee60c6870766403f98cf5a4fed4d&chksm=c0fb1492f78c9d84c69383dde50db30511267a892c0a67......
  • [答疑]测试是不是不属于建模
    半生不熟2020-5-69:37请问老师,您书中列举的4个工作流没有包含测试,测试是不是不属于建模范围UMLChina潘加宇“测试”可以看作建模的验证过程,思考的还是那些内容,类似下面这......
  • 接口测试—1
    可以对比以下图,知道接口是怎么分类的http常用请求方式,可以参考,如下接口测试的工具用多种,例:postman,jmeter等,不知道接口可以通过控制台或者抓包软件提取1GET请求指定的......
  • 如何写一个好的测试?总结起来就这两点……
      背景在上一个项目上,由于项目成员大部分是新入职的同事,所以对于测试不是很熟悉,这就导致了在项目前期,项目上的很多测试都不太makesense,虽然没有什么定量的东西来描述......
  • 探索智能化测试技术
    摘要:随着软件迭代模式的不断发展,测试环节的自动化程度也得到了有效的、持续的提升,智能化测试是结合AI算法和测试数据对测试多个环节进行针对性的优化。本文分享自华为云社区......
  • Jmeter 性能测试常用图表及组件
    前提:通过pluginsManager下载好jpgc-StandardSet1.ConcurrencyThreadGroup线程组(阶梯线程组)添加方式:测试计划-->线程(用户)-->ConcurrencyThreadGroup参数:Tar......
  • repmgr部署和测试
    https://www.modb.pro/db/22029  https://blog.csdn.net/qq_34479012/article/details/125706815?app_version=5.9.0&code=app_1562916241&csdn_share_tail=%7B%22typ......
  • vivo平台化实践探索之旅-平台产品系列01
    vivo互联网平台产品研发团队-YangYang本篇为《vivo平台产品》系列文章的第1篇。主要描述在业务高速发展的背景下,vivo软件工程师通过系统平台化建设等手段,逐步解决软......
  • 浅析基于AI智能识别技术的明厨亮灶智能化监管方案
    以云计算、大数据、人工智能为代表的新兴技术,不断驱动着视频监控与视频应用等各领域业务层面的创新,同时AI计算机视觉技术的深度应用,也将成为各行各业有效的AI+视频监控解决......
  • 测试杂谈——一条SQL引发的思考(二)
    在前段时间,曾写过一篇关于SQL问题的文章,测试杂谈——一条SQL引发的思考(一)。今天这篇,算是个问题记录吧,问题并不复杂,但对于测试同学而言,确实是个需要关注的点。问题分析最......