1. 前言
熟悉我们开源框架的朋友都知道,AirtestProject一直以来,都对外开源了2个自动化测试框架,Airtest和Poco,Airtest是基于图像识别原理的,Poco是基于控件识别原理的。
这2个自动化测试框架,大大降低了自动化测试的门槛,让自动化测试变得简单可行。但是几年的长期实践以来,我们也发现了这2个框架的一些局限性:
比如airtest图像识别的不准确性、airtest对于文字/数字场景识别效果差的问题 ;poco获取控件需要实现安装pocoservice.apk或者嵌入poco-SDK,poco目前不兼容最新的微信小程序(xweb页面)、H5页面等问题 ;
针对这些局限性,我们推出了一款新的工具库:Airtest-ocr。顾名思义,它是 基于OCR技术 的,能帮我们识别定位到页面上的所有文字,匹配到文字以后,就可以非常便捷地做一些我们期望的自动化测试工作了。
下文,我们将详细介绍网易推出的这个新的自动化测试框架。
2. Airtest-ocr简介
如上文所述,Airtest-ocr主要是依赖 OCR 技术,能识别出来屏幕中所有的文字,与脚本中的待操作文字匹配后,可以执行相应的一些点击、滑动操作等。
1)Airtest-ocr的识别效果
我们用几张图来展示下Airtest-ocr模型的识别效果:
可以看到,不论是对于 文本场景 还是 数字场景 ,Airtest-ocr的识别效果都非常不错。
2)Airtest-ocr的识别效率
Airtest-ocr 提供轻重两种模式,默认情况下,会使用轻量级模式。好处是 运算速度快、算法模型小、消耗资源小 ,轻量级模式对 CPU 的压力要小很多,API 速度一般也能保证在2s内完成。
3)Airtest-ocr的API易于使用
为了减少新框架的学习成本,Airtest-ocr的脚本风格与Airtest保持一致,并且因为是文字识别的,所以脚本整体的可阅读性非常高:
# 点击某文字
ocr_touch("开始") # 与 ocr_click("开始") 等价
# 双击某文字
ocr_double_click("开始")
# 某些情况下,文字处于按钮附近(比如按钮下方),使用offset设置点击偏移量
ocr_touch("开始", offset=(0, -20)) # 以“开始”文字的中心为起点, x轴不偏移,y轴向上偏移20个像素点
ocr_double_click("开始", offset=(0, -20))
# 指定高优先级区域 (version>=1.0.10)
ocr_touch("开始", location=(100, 100), threshold=0.98) # 对于置信度高于0.98的多个 “开始”, 优先点击靠近 (100,100) 的
# ocr_swipe 与 swipe函数类似
ocr_swipe("生活", "学习") # 从“生活”滑向“学习”
ocr_swipe("生活", vector=(0, 100)) # 从“生活”向下滑动100个像素
ocr_swipe((780, 1842), (780, 1000)) # 从坐标1滑向坐标2
......
3. Airtest-OCR的应用场景介绍
那么,这样一款基于OCR技术的自动化测试框架,都适用于哪些测试场景呢?我们简单给大家举几个例子~
1)微信小程序测试(或其它混合开发页面)
自从微信小程序/微信公众号页面改用xweb框架以来,Poco对其兼容性就不是特别好,经常出现识别不到控件的情况。如果全用Airtest截图,按照小程序的UI迭代效率,我们的图像脚本迭代成本也挺高的。
但是如果使用Airtest-ocr框架的话,我们的烦恼就会少很多了!因为无需担心识别不到控件,也无需担心UI样式经常发生改动,我们直接根据小程序页面上关键的文字,来进行自动化测试:
2)安装应用过程输入密码的场景
像oppo和vivo这类的手机,或者是iOS设备,在安装应用时,都有一个无法避免的问题,那就是输入密码。
类似的情况,还有初次打开应用时,需要点击的一系列权限弹窗。可以看到,这些页面,往往都是非常简单的文字识别场景,比如识别一些类似“安装”、“输入密码”、“同意”、“取消”等等文字。
这些应用场景下,airtest的识别文字可信度就没那么高了,更适合用Airtest-ocr来进行:
3)验证码识别场景
同理,对于一些数字验证码、字母验证码等,Airtest-ocr也能有不错的应用效果:
4)其它:游戏文本测试等
另外还有很多场景可以用到Airtest-ocr,比如在复杂的游戏场景中,进行游戏文本核验等场景等。
4. 小结
今天介绍的这款测试框架,是我们新加入到 网易私有云测试解决方案 里面的,感兴趣的朋友,可以在我们的群里,了解更多细节。当然,我们Airtest开发组,后续也会持续研究新的自动化测试技术,在测试行业继续深耕!
Airtest官网:https://airtest.netease.com/
Airtest教程官网:https://airtest.doc.io.netease.com/
搭建企业私有云服务:https://airlab.163.com/b2b
官方答疑 Q 群:117973773
呀,这么认真都看到这里啦,帮忙点个推荐支持一下呗,灰常感谢~
标签:文字,ocr,真香,场景,测试,Airtest,识别 From: https://www.cnblogs.com/AirtestProject/p/16921408.html