有一个采集数据的需求，分析了页面数据后发现列表有一个id，但是没有其他数据，打开详情并不是通过id，而是其他一个字段，这就说明通过selenium抓取页面数据还不行，还要接口返回的数据。这个时候就需要用到代理了，在代理层面把数据拦截下来，把自己想要的接口数据保存起来，然后通过页面找到的id

在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。1.chromeOptions

1、获取Googlechrome、chromedriver地址：https://googlechromelabs.github.io/chrome-for-testing/ 2、将2个压缩包解压，存放到固定目录比如我的chromedriver位置为：D:\file\jar\chromeDriver120\chromedriver.exechrome位置为：D:\\soft\\chrome120\\chrome.exe3、代码中

添加如下代码fromselenium.webdriverimportChromeOptionsoption=ChromeOptions()option.add_experimental_option('excludeSwitches',['enable-automation'])option.add_argument("disable-blink-features=AutomationControlled")driver=we

本来写的UI走查的代码主要场景是web浏览器，少量h5页面校验不值得大费周章用真机去跑背景：首先尝试了移动端真机巡检，但是不同机型，需要调试出合适的appPackage以及其它参数上一段代码：publicAndroidDrivergetWebDriverForAPP(){AndroidDriverappDriver=null;

背景：在用Selenium做自动化测试的时候，默认ChromeDriver是会提示“Chrom正受到自动测试软件控制”的。如下图这样。但我们有些场景下，不希望这个提示出现。本文探索了几种语言去掉这个提示条的方法，希望对小伙伴有帮助。  1.JavaChromeOptionsoptions=newChromeOptions(

   使用selenium进行自动化的时候，如csdn登录时可能会遇到检测反爬，从而需要验证        1.反爬有时候，我们利用 Selenium 自动化爬取某些网

 1、加载插件：1publicstaticvoidStartChromeLoadPlugin(){2System.out.println("startfirefoxbrowser...");3System.setProperty("webdriver