首页 > 其他分享 >哎呀,当时怎么没有想到

哎呀,当时怎么没有想到

时间:2024-09-06 10:04:45浏览次数:5  
标签:需求 场景 验证 哎呀 想到 当时 问题 测试 测试环境

在我们的测试工作中,是不是经常遇到这样的情形,发生了线上问题,产品、研发或者测试同学一拍脑袋:当时怎么没有想到,怎么给漏掉了呢?明明是一个非常简单的事情,用大拇指都能想到的验证场景,为何当时就漏测了呢?但实际情况是,逃逸到线上的缺陷,疑难杂症式的极端异常的问题很少,大部分都不复杂且可以在设计和开发中规避,或者在测试过程中被识别出来。针对此类问题,从测试覆盖度的角度,本文试图解释一下为何会发生这样的事情,以及如何有效规避。

 

一. 为什么经常会发生测试场景覆盖不全的问题

高质量的测试覆盖率是确保产品质量和用户体验的关键因素,但为何会经常发生测试场景覆盖不全的问题,这里面既有主观因素的缺失,也有客观因素的限制,具体包括:

1. 主观原因

粗心大意:认为需求非常简单,没有认真分析验证场景及异常流程、分支流程,没有识别隐藏的细节,或者对于存在的风险,存在侥幸心理,不去进一步求证或验证。 •经验主义:思维固化,认为老办法同样可以解决新问题,没有进一步思考测试场景、测试数据、验证方式的不同之处。 •需求理解不充分:测试用例只覆盖到了产品PRD里的显式功能,没有覆盖隐性需求,只进行了黑盒测试或者黑盒测试覆盖的场景不足。 •业务知识不足:只看到了需求本身,没有看到背后隐藏的业务的真正诉求,知其然不知其所以然。 •开发知识欠缺:无法熟读代码,无法通过参加代码评审识别出研发代码改动之处及可能影响的范围,望码兴叹,无法熟练进行白盒测试,或者自动化测试代码健壮性较差,无法起到自动化回归的作用。 •信息互通不到位:与项目组其他成员沟通不到位,遗漏重要信息或没有对齐颗粒度,你以为的实际不是你以为,导致遗漏重要验证场景。 •用例颗粒度太大:编写用例的过程也是自己梳理信息的过程,用例颗粒度大,自然梳理的过程就不会太精细,自然遗漏验证场景的几率就会更大(虽然探索式测试的理念是不要求编写详细的测试用例,而是在测试过程中不断调整、优化或细化,但很多需求不太适合探索式测试,这些需求要求快速上线,排期被严重挤压,很难有充足的时间进行探索式测试)。 •测试专业技能薄弱:测试专业技能、经验不足,力所不及,自然无法保证测试的充分性及验证场景的全面性。

2. 客观原因

项目周期紧凑:目前很多需求都无法按照研发测试的正常排期进行交付,倒排期和赶工是常态,测试很难有充分的时间思考验证场景,新功能的测试往往只能覆盖主要路径,而忽略了一些边界情况和异常场景。 •需求变更频繁:迭代快、变更快也是产品常态,往往一期还没有上线,二期三期就要评审了,没有经过线上真实环境、数据和客户的反馈,产品方案、技术方案存在的缺陷可能无法暴露和识别。 •投放渠道众多:尤其是针对C端用户的拉新和促活活动,投放渠道非常多,涉及到不同的承接环境,如App环境(iOS、安卓、鸿蒙)、H5环境、小程序环境,同时涉及到不同设备、不同环境、不同操作系统版本、不同浏览器的打开、回流、引导下载等操作,兼容性测试覆盖不足可能导致无法识别到特定设备下的功能或体验问题。 •流量情况悬殊:各个投放渠道流量差异较大,若上线前没有对各渠道的流量有充分的预估,没有进行压测,在高并发、大数据量或复杂业务场景下,性能问题可能无法被及时发现,从而导致线上问题。 •测试环境仿真度低:目前很多系统之间存在测试环境未打通、测试环境数据不全等问题,导致测试环境的仿真度较低,可能出现测试环境无法模拟真实环境或测试环境无法覆盖全部验证场景的情况。

 

二. 如何提升测试覆盖度

为了尽量避免因测试场景覆盖不足所导致的线上问题,需要针对以上客观和主观原因进行分析,并制定行之有效的对策。总结来说,在测前、测中及测后,提升"内因",把控“外因”,避免“三拍”。

 


 

 

1. 内因

提升测试覆盖度,“内因”是关键,即可以通过积极的质量策略以及专业能力的提升,大大减少测试覆盖度不足的情况。

测前:充分理解,不盲目拍胸脯保证。 ◦测试工作不是始于测试执行之时,而应前置到需求阶段,测试同学应具备基本的业务Know-How,充分理解业务逻辑及研发逻辑,面对具体的业务需求,不仅停留在功能实现层面,更应理解此需求背后的业务诉求。在前置编写及评审测试用例的时候,与产品、研发充分沟通产品逻辑及技术实现方案是否与业务逻辑及真正的业务诉求保持一致,充分讨论业务风险和技术风险。总之,绝不能不求甚解、掉以轻心,应不懂就问,多沟通,多讨论风险,敢于发问,敢于质疑。 ◦在测试专业能力方面,采用灵活的质量策略,如进行代码覆盖率分析,实施精准测试和探索式测试,维护贴近生产的测试环境和测试数据、更高覆盖率的的自动化测试,以及适合业务特点的测试工具等等。 •测中:充分识别,不草率拍脑袋决策。按照我们前置测试用例的逻辑,大部分需求的测试用例在开发阶段或开发之前就已经编写并评审完毕,但随着交付进度的进行,各方对需求的理解不断加深,即使进入到测试阶段,仍可能会识别出新的范围、风险或问题,因此,应不断就验证范围、风险、异常场景等进行确认,并标注出核心验证点以及测试过程中可能存在的问题和风险,及时调整和改进测试策略。还应共识双向的影响范围,即该需求是否影响了其他业务功能或技术模块,其他功能或技术模块是否影响该需求。 •测后:充分总结,不惊慌拍大腿懊悔。测试完成并上线不是终点,除了配合业务进行线上验证及观察线上数据、进行线上巡检之外,还应花点时间回顾一下交付的过程,总结经验教训,主动分享。对于核心的用例,看能否沉淀为自动化的回归及巡检用例。万一出现了线上问题,先尽快恢复业务,再分析原因,进行复盘,总结教训和改进方案。

2. 外因

提升测试覆盖度,“外因”是基础,即通过流程机制的约束及全流程的质量把控、层层把关、互相补位,从机制上降低测试场景遗漏发生的概率。通过规范化的质量活动对需求交付的各个阶段进行质量准入和准出,步步为营,形成强制性的“七道关卡”,即上图所示的用例前置、单元测试、冒烟演示、测试执行、产品验证、运营验收及线上灰度验证。严格遵守这套流程机制,上一道关卡遗漏下来的问题,大概率会在后面的关卡被识别出来,因此,遗漏验证场景的从而导致缺陷逃逸到线上的概率会被大大降低。(关于本段内容,可以参阅产品需求交付质量保证的“七重门”

 

总结一下,针对如何提升测试覆盖度,“内因”是关键,基本可以解决上述“主观原因”导致的测试覆盖不足的问题,“外因”是基础,基本可以解决上述“客观原因”导致的测试场景覆盖不足的问题。

三. 综述

总结来说,防止线上问题不能停留在口头上,或者简单粗暴地要求测试同学提升测试覆盖度,应该给与更加具体的要求、指导及评价的标准。其关键要素是流程机制确保基本的质量,专业能力进一步提升质量,主观能动性构建持续的高质量,只有不断提升“内因”并把控好“外因”,才能有效防范“漏测”问题的发生,持续交付稳定可靠的产品,并提供更好的用户体验。

标签:需求,场景,验证,哎呀,想到,当时,问题,测试,测试环境
From: https://www.cnblogs.com/Jcloud/p/18399679

相关文章

  • 摄像机太忙了所以卡!万万没想到原来还可以这样解决!
    在众多项目场景中,视频资源的集成与应用日益频繁。视频监控作为视频应用项目中不可或缺的基础能力,已超越传统监控功能范畴,其应用场景得到了极大拓展,并被赋予了更多元化的功能定义。很多用户在项目更新过程中普遍发现,在项目中需要频繁调用视频资源。初期,一两个项目尚可应对,但随着项......
  • 没想到通过查询也能收入过万?
      今天是“信息差虚拟电商选品实战篇”第一章,所以一次分享两个项目给大家。两个项目之间都是有相互关联的,算是细分类目的垂直延伸。之后分享的每一个品,我都会按:[选品解析]-[平台操作]-[思路延伸]这三个方面给大家剖析玩法。 第一个信息差是“进出口数据查询”这个主要......
  • “黑神话悟空”问世,没想到八十一难第一难竟是服务器崩溃!
    随着国产3A游戏大作“黑神话悟空”正式上线,就迅速火遍全球,众多玩家蜂拥而至,全球最大的Steam服务器直接崩溃!在此之前,Steam从未出现过此类情况。服务器崩溃其实很常见,可能是硬件故障,软件代码出了问题,或是网络波动,甚至有可能遭到了黑客攻击,DDoS攻击或是其他安全威胁。像Steam和黑......
  • 差一点就完美了!原子侠X7 Ti迷你主机评测:豪华三网卡七USB 灵动屏还能当时钟摆件
    一、前言:迷你主机也用上AI处理器/外围扩展给出十足诚意要说最合适办公的PC是什么,在我看来非迷你主机莫属,小巧的体积、适中的性能、丰富的接口和扩展,可满足办公时的大部分需求了。这也得益于Intel/AMD“神仙打架”,移动端处理器迅速迭代,性能不再羸弱,功耗发热控制得当,才让迷你主机......
  • 2021年我因为Tab Session Manager丢失数据,好像是研究过一次leveldb的查看/解码方式 但
    Default\LocalStorage\leveldb.ldb 2023年下半年我因为chatmindai修改域名,又研究过一次,因为时间关系也没有细究 最近,我想查看一下anki的devtool的LocalStorage,即https://ankiweb.net/shared/info/31746032这个插件产生的C:\Users\xxx\AppData\Local\Anki\QtWebEngine\De......
  • 公司新来了个半吊子测试,没想到居然是个卷王!
    最近招了一个测试坐我旁边,想着好好培养一下,要她有什么不懂可以来问我,但工作几天了也没看她来问问题什么的,以为他是个半吊子测试,结果有一天我发现,她竟然趁我不在的时候偷偷努力…,原来她这几天在我旁边坐着都是故意的。后来才知道人家是个卷王,从早干到晚就差搬张床到工位睡觉了......
  • 没想到吧,Python print函数也能玩出花!
    目录1、基础打印技巧......
  • 万万没想到!这款脚本能在18个平台上掘金,省时省力好用哭了!
    在这个信息爆炸的时代,频繁切换平台和下载各种脚本不仅耗时,还让人头疼。有没有一种方法可以一次性解决这些问题?答案是肯定的!今天我就来揭秘一款宝藏级的掘金脚本,好用到哭!这款脚本支持多达18个平台的掘金操作,真正做到了“一键搞定”。无论你是技术大牛,还是初出茅庐的小白,这......
  • 布局俄罗斯电商独立站正当时/附独立站收款
    大家都知道,俄罗斯是一个幅员辽阔的国家,国土跨越两个大陆,即欧洲和亚洲,横跨11个时区,与14个国家接壤,总人口为1.46亿人(俄乌战争后,可能没这么多了),是世界上人口最多的国家之一。俄罗斯总人口中有1.31亿人使用互联网,互联网普及率高达90%,普及率非常高!2023年俄罗斯GDP总额为2.24.万亿......
  • 结合本小组项目写下能想到的所有 SWOT
    优势(Strengths):技术优势:先进的票务系统和技术,能够提供高效、快捷的购票服务。用户友好界面:良好的用户界面设计和用户体验,可以吸引更多的客户。数据分析能力:通过对用户数据的分析,可以优化定价策略和营销方案。合作伙伴网络:与航空公司和其他旅行相关企业的良好合作关系,能够提供......