首页 > 其他分享 >爬虫不仅仅selenium自动化,还有这些。。。

爬虫不仅仅selenium自动化,还有这些。。。

时间:2023-08-07 14:22:41浏览次数:36  
标签:浏览器 测试 selenium 爬虫 API https 自动化 com

1.DrissionPage

这款工具既能控制浏览器,也能收发数据包,甚至能把两者合而为一,简单来说:集合了WEB浏览器自动化的便利性和 requests 的高效率优点。

采用全自研的内核,对比 selenium,有以下优点:

无 webdriver 特征,不会被网站识别,无需为不同版本的浏览器下载不同的驱动 。

运行速度更快,可以跨 iframe 查找元素,无需切入切出,iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰。

可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换。

内置等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心。

允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器,调试超方便。

极简的语法规则。集成大量常用功能,定位元素更加容易,功能更强大稳定。

使用 POM 模式封装,可直接用于测试,便于扩展。

等等。。。

官方文档地址:http://g1879.gitee.io/drissionpagedocs/ChromiumPage/browser_options/#debugger_address

2.undetected_chromedriver

安装方式:pip install  git+https://github.com/ultrafunkamsterdam/undetected-chromedriver.git

undetected_chromedriver 可以防止浏览器特征被识别,并且可以根据浏览器版本自动下载驱动。

3. puppeteer

Puppeteer 是一个 Node 库,它提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome。Puppeteer 默认以 headless 模式运行,但是可以通过修改配置文件运行“有头”模式。

中文文档:https://puppeteer.bootcss.com/

4.splash  

Splash 是一个JavaScript渲染服务,是一个带有HTTP API的轻量浏览器,同时它对接了Python中的Twisted和QT库利用它,可以同样实现动态渲染页面的抓取

使用方法:https://blog.csdn.net/Smart_look/article/details/122352722

5.playwright

Playwright 是微软在 2020 年初开源的新一代自动化测试工具,它的功能类似于 Selenium、Pyppeteer 等,都可以驱动浏览器进行各种自动化操作。它的功能也非常强大,对市面上的主流浏览器都提供了支持,API 功能简洁又强大。虽然诞生比较晚,但是现在发展得非常火热。

因为 Playwright 是一个类似 Selenium 一样可以支持网页页面渲染的工具,再加上其强大又简洁的 API,Playwright 同时也可以作为网络爬虫的一个爬取利器。

使用方法:https://mp.weixin.qq.com/s/LBjf2natwOPhvhpKYIrlvw

官网:https://playwright.dev/python/docs/intro

6.autojs  (手机端)

auto.js是一款Android平台上的JavaScript自动化工具,可以帮助我们完成各种自动化任务,例如模拟用户操作、截图、文件管理等等。通过auto.js,我们可以轻松地实现自动化爬虫、数据分析等功能。

官方文档:https://hyb1996.github.io/AutoJs-Docs/#/

Github:https://github.com/hyb1996/Auto.js

官方论坛:https://www.autojs.org/

非官方文档:https://easydoc.xyz/doc/25791054/uw2FUUiw/3bEzXb4y
7.weditor+uiautomation (手机端)

uiautomator2是一个自动化测试开源工具,仅支持Android平台 的原生应用测试。它本来是Google提供的一个自动化测试的Java库,后来发展了python-uiautomator2,封装了谷歌自带的uiautomator测试框架,提供便利的python接口,用它可以很便捷的编写python脚本来实现app的自动化测试。

Python控制安卓模拟器或真实手机时,最常用和好用的模块是uiautomator2(因为美亚等大公司的软件都是使用uiautomator2),而最常用和好用的调试助手是weditor

使用方法:https://blog.csdn.net/yangyue0205/article/details/126735981

8.aritest  (手机端)

Airtest是网易开发的手机UI界面自动化测试工具,它原本的目的是通过所见即所得,截图点击等等功能,简化手机App图形界面测试代码编写工作。

官方文档:https://airtest.netease.com/

9.appium (手机端)

appium是一个移动 App (手机应用)自动化工具。支持 iOS 平台和 Android 平台上的原生应用,web应用和混合应用。它允许测试人员在不同的平台(iOS,Android)使用同一套API来写自动化测试脚本,这样大大增加了iOS和Android测试套件间代码的复用性。
使用方法:https://blog.csdn.net/qq_46485161/article/details/119738901

10.pywinauto

是基于Python开发的,用于自动化测试的脚本模块,主要操作于Windows标准图形界面。它可以允许你很容易的发送鼠标、键盘动作给Windows的对话框和控件。

使用方法:https://www.cnblogs.com/xp1315458571/p/13892205.html

标签:浏览器,测试,selenium,爬虫,API,https,自动化,com
From: https://www.cnblogs.com/huanghaobing/p/17611320.html

相关文章

  • python爬虫之scrapy框架介绍
    一、Scrapy框架简介Scrapy是一个开源的Python库和框架,用于从网站上提取数据。它为自从网站爬取数据而设计,也可以用于数据挖掘和信息处理。Scrapy可以从互联网上自动爬取数据,并将其存储在本地或在Internet上进行处理。Scrapy的目标是提供更简单、更快速、更强大的方式来从网......
  • Python:Spider爬虫工程化入门到进阶(1)创建Scrapy爬虫项目
    Python:Spider爬虫工程化入门到进阶系列:Python:Spider爬虫工程化入门到进阶(1)创建Scrapy爬虫项目Python:Spider爬虫工程化入门到进阶(2)使用SpiderAdminPro管理scrapy爬虫项目本文通过简单的小例子,亲自动手创建一个Spider爬虫工程化的Scrapy项目本文默认读着已经掌握基本的Python编程......
  • Python爬虫如何更换ip防封
    作为一名长期扎根在爬虫行业动态ip解决方案的技术员,我发现很多人常常在使用Python爬虫时遇到一个困扰,那就是如何更换IP地址。别担心,今天我就来教你如何在Python爬虫中更换IP,让你的爬虫不再受到IP封锁的困扰。废话不多说,赶紧跟我一起学吧!首先,我们要了解一下为什么需要更换IP地址。......
  • Python爬虫在教育领域的应用:如何通过爬虫获取教育资源
    大家好!作为一名专业的爬虫代理供应商,我今天要和大家分享一些关于Python爬虫在教育领域的应用。随着互联网的发展,教育资源日益丰富,通过爬虫技术,我们可以轻松获取各种教育资源,为学生提供更加个性化的学习体验。在本文中,我将与大家探讨如何使用爬虫获取教育资源,并为学生提供个性化学习......
  • 拆解爬虫使用隧道HTTP代理的原理
    今天,让我们来一起探索一下爬虫如何利用隧道HTTP代理来实现无限可能!本文将为你详解这一原理,并分享一些实用的操作技巧。快来和我一起探索吧!一、隧道HTTP代理是什么?在爬虫的世界里,隧道HTTP代理就像是一个隐身斗篷,可以帮助我们在互联网上隐藏身份。它实际上是位于我们和目标网站之间的......
  • 自动化脚本-社会信用代码生成
    importrandomimportstringdefgenerate_uscc():department_codes=["1","5","9"]department_code=random.choice(department_codes)category_codes=["1","2","3","9&q......
  • 将Docker与DevOps文化结合:实现自动化、监控与日志管理
    引言:DevOps文化作为一种融合开发和运维的方法论,旨在加速软件交付和增强团队协作。而Docker作为一种轻量级、可移植的容器化技术,提供了快速部署和高度可扩展的解决方案。本文将深入探讨如何将Docker与DevOps文化结合,以实现自动化部署、高效监控和集中式日志管理,为现代软件开发与运维......
  • 软件测试|web自动化测试神器playwright教程(十九)
    前言我们日常工作中,经常会遇到我们的页面内容较多,一个屏幕范围无法完整展示内容,我们就需要滚动屏幕去到我们想要的地方,如下页面,我们想要在豆瓣首页,内容并不完整,如果我们想要直接点击电影模块中的选电影按钮,是需要往下滑动的。click点击操作如下图,我们要在豆瓣首页点击选电影......
  • 软件测试|web自动化测试神器playwright教程(十七)
    前言上篇文章我们介绍了使用playwright下载文件的方法,本篇文章我们将介绍使用playwright上传文件。上传文件是我们经常需要面对的场景,如果我们使用的是selenium,那我们的操作会比较复杂,因为有的文件上传是input控件,有些是需要我们直接传文件地址,一旦弹出文件选择框的话,selenium就......
  • 软件测试|web自动化测试神器playwright教程(二十)
    前言我们都知道,selenium可以实现Chrome浏览器的复用,绕过登录步骤,实现cookie的复用,playwright同样也可以实现该功能。环境设置我们在使用selenium进行浏览器复用时,需要提前将Chrome浏览器配置到我们的环境变量中,具体步骤如下:找到Chrome浏览器的安装路径,如下图:将'C:\Progra......