首页 > 其他分享 >使用selemium被反爬解决方法

使用selemium被反爬解决方法

时间:2023-02-06 13:33:54浏览次数:46  
标签:webdriver option Chrome driver ChromeOptions selemium 解决 navigator 方法

      使用selenium进行自动化的时候,如csdn登录时可能会遇到检测反爬,从而需要验证

       

 

      1. 反爬   有时候,我们利用 Selenium 自动化爬取某些网站时,极有可能会遭遇反爬。   实际上,我们使用默认的方式初始化 WebDriver 打开一个网站,下面这段 JS 代码永远为 true,而手动打开目标网站的话,则为:undefined。       # 通过这段 JS 脚本区分是爬虫还是人工操作   window.navigator.webdriver      

 

        稍微有一点反爬经验的工程师利用上面的差别,很容易判断访问对象是否为一个爬虫,然后对其做反爬处理,返回一堆脏数据或各种验证码。

       如果要实现后面的自动化操作,首先要解决的就是这个反爬的问题。   常见的反反爬方案包含:设置参数?excludeSwitches、mitmproxy 拦截过滤、cdp 命令,下面分别来说说。          2.设置参数 excludeSwitches   Chrome79 之前可以通过配置 ChromeOptions 驱动参数,来达到反反爬的目的。   只需要将参数打开,设置 excludeSwitches 值为 enable-automation 即可。     
   from selenium.webdriver import Chrome
  from selenium.webdriver import ChromeOptions
  option = ChromeOptions()
  # 打开参数
  option.add_experimental_option('excludeSwitches',?['enable-automation'])
  driver = Chrome(options=option)
  driver.implicitly_wait(10)
  driver.get("http://www.google.com")
       这个参数是实验性参数,所以右上角会提示:请停用开发者模式运行的扩展程序,不能点击停用。   这样,设置这个参数后:   window.navigator.webdriver 的值就变成 undefined 了。          3. mitproxy 拦截   众所周知,mitproxy 可以拦截到网络请求,做其他处理,这里只需要进行 JS 代码注入即可。
 # 待执行的 JS 代码,修改 window.navigator.webdriver 的值
 js_exec = 'Object.defineProperties(navigator,{webdriver:{get:() => false}});'
 # 重写 response,截获网络请求,js注入
 def response(slef,flow: mitmproxy.http.HTTPFlow):
          if 'google' in flow.request.url:
                  flow.response.text = js_exec + flow.response.text
  然后启动 mitmdump:
# 启动mitmproxy
  mitmdump -p 8888 -s 111.py
  最后,配置 ChromeOptions 指向 mitmdump代码即可。
  # 配置ChromeOptions
  option.add_argument("--proxy-server=http://127.0.0.1:8888")

 

  4. cdp 命令(经验证可以)   cdp 全称是:Chrome Devtools-Protocol   通过 addScriptToEvaluateOnNewDocument()?方法可以在页面还未加载之前,运行一段脚本。   如此,我们只需要提前设置:   window.navigator.webdriver?的值为 undefined 即可。   
   from selenium.webdriver import Chrome
  from selenium.webdriver import ChromeOptions
  option = ChromeOptions()
  # 打开参数
  # option.add_argument("--proxy-server=http://127.0.0.1:8888")
  # driver = Chrome(options=option)
  driver = Chrome()
  driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
      Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
      })
    """
  })
  driver.implicitly_wait(10)
  driver.get("http://www.google.com")
  5. 其他   通过上面的 3 种方法可以很好的解决 Selenium 自动化被反爬的问题。       不过,一般自动化测试不会遇到反爬问题。

标签:webdriver,option,Chrome,driver,ChromeOptions,selemium,解决,navigator,方法
From: https://www.cnblogs.com/xuweiqibky/p/17095123.html

相关文章

  • 关于NGINX配置来解决CORS跨域资源共享的分析
     跨域主要涉及4个响应头:Access-Control-Allow-Origin用于设置允许跨域请求源地址(预检请求和正式请求在跨域时候都会验证)Access-Control-Allow-Headers跨域允许携带......
  • 18-方法method
    什么是方法publicclassDemo02{publicstaticvoidmain(String[]args){intsum=add(20,60);//调用方法System.out.println(sum);}......
  • 20-方法递归
    publicclassDemo06{publicstaticvoidmain(String[]args){System.out.println(f(5));}//定义一个方法阶乘publicstaticintf(i......
  • win10无法写入删改c盘文件的解决方法
    前言最近使用了win10系统,结果发现无法对c盘的文件进行写入删改,在网上到处搜集资料,终于找到了解决方法,这里总结一下。首先,本文针对的是win10家庭版,家庭版默认是不提供组策略......
  • 解决CentOS缺少共享库:libstdc++.so.6
    当在​​CentOS​​​ 6.2下执行某些命令时,有缺少共享库的报错: errorwhileloadingsharedlibraries:libstdc++.so.6:cannotopensharedobjectfile:Nosuchfil......
  • PHP获取学生成绩的方法
    本文主要练习一下如何利用PHP完成一个简单的案例,即输入学生学号,得到相应的成绩信息。在此之前先来认识一下这个非常重要的语法GET请求:参数在URL后面,多个参数用&进行连接......
  • 解决智慧城市发展困扰:Web 3D 智慧环卫 GIS 系统
    前言智慧环卫,依托物联网技术与移动互联网技术,对环卫管理所涉及到的人、车、物、事进行全过程实时管理,合理设计规划环卫管理模式,提升环卫作业质量,降低环卫运营成本,用数字......
  • 互联网医院系统开发|互联网医院能解决哪些问题
    有了互联网医院系统,一些常见病和慢性病患者无需长途跋涉到医院就诊,仅需要在互联网医院系统里面找到自己所需科室,就诊医生通过对患者的问诊,了解病情,最终为患者开具在线处方,药......
  • php修改word的实例方法
    将Word另存为网页。修改为默认页面视图。编写PHP代码。通过fwrite等函数修改Word内容即可。实例ob_start();//开启缓存print'';//输出头部$content=file_get_c......
  • 如何解决php-fpm启动不了问题
    重新下载一个64位的“ZendGuardLoader.so”。将其放到“/usr/local/zend/”下。重新执行“lampPHP-fpmstart”即可。修复步骤用file命令查看当前的ZendGuardLoader.s......