首页 > 其他分享 >爬虫中关于SSL证书的处理(requests库)

爬虫中关于SSL证书的处理(requests库)

时间:2024-06-05 18:00:55浏览次数:19  
标签:证书 爬虫 SSL 点击 PyCharm path requests

SSL证书是

方法一:暴力 verify = False

response = requests.get('https://example.com', verify=False)


# 强烈建议不要在生产环境中使用 verify=False,
# 因为它会使你的请求容易受到中间人攻击(Man-in-the-Middle, MITM)。
# 当 SSL 证书验证被绕过时,任何位于你和目标服务器之间的恶意代理都可以拦截和篡改你的请求或响应。

方法二:直接将该网站的证书下载,并安装到本地电脑


  1)打开Chrome浏览器并访问您想要查看SSL证书的网站(例如:https://www.dyttcn.com/)。
  2)点击地址栏左侧的锁形图标,然后点击弹出的证书信息窗口(通常标题为“证书”或“连接是安全的”)。
  3)在证书信息窗口中,您会看到关于证书的详细信息。找到并点击“详细信息”或“证书详情”选项卡(这取决于Chrome的版本和翻译)。
  4)在“详细信息”或“证书详情”页面中,您会看到多个证书链。找到并点击最顶层的证书(通常是根证书颁发机构的证书),然后点击“导出”或“另存为”按钮(在Chrome中,可能需要先点击“证书路径”选项卡来查看证书链,并找到您要导出的证书)。
  5)选择保存证书的格式(通常推荐PEM格式),然后选择一个位置保存证书文件。


然后在本地文件中双击该证书,进行安装即可
    在Windows上,您可以使用“证书管理器”来添加证书。
    在macOS上,您可以使用“钥匙串访问”应用。
    在Linux上,通常需要将证书复制到/etc/ssl/certs/目录并运行update-ca-certificates命令。

方法三: 在PyCharm中信任服务器证书

  1)打开PyCharm设置--File菜单--选择Settings(在macOS上是PyCharm > Preferences)。
  2)导航到服务器证书设置:
    在左侧导航栏中,选择Tools -- Server Certificates。
    添加或信任证书:点击+按钮来添加一个新的服务器证书。
  3)如果您已经添加了证书但PyCharm仍然不信任它,请确保勾选了Accept non-trusted certificates automatically选项。
  4)重启PyCharm:在完成上述更改后,建议重启PyCharm以确保更改生效。

方法四: requests库验证

''' 如果您是在Python代码中发送HTTPS请求并希望信任特定的证书,可以在代码中指定证书文件的路径。
使用requests库时,可以通过verify参数指定证书文件的路径。
但是,请注意,这通常是在Python代码中处理SSL证书的方法,而不是直接在PyCharm中。'''

# 获取桌面路径(这里以Windows为例,macOS和Linux需要相应调整)  
desktop_path = os.path.join(os.path.join(os.environ['USERPROFILE']), 'Desktop')  
# 构造证书文件的完整路径  
cert_path = os.path.join(desktop_path, 'example.crt')  
  
# 发送HTTPS请求,并指定证书文件路径  
response = requests.get('https://example.com', verify=cert_path)  

标签:证书,爬虫,SSL,点击,PyCharm,path,requests
From: https://www.cnblogs.com/abloger/p/18233292

相关文章

  • 爬虫获取照片
    importrequestsdefget_img_url(keyword):"""发送请求,获取接口中的数据"""#接口链接url='https://image.baidu.com/search/acjson?'#请求头模拟浏览器headers={'User-Agent':'Mozilla/5.0(Win......
  • Python从0到100(二十九):requests模块处理cookie
    1爬虫中使用cookie为了能够通过爬虫获取到登录后的页面,或者是解决通过cookie的反扒,需要使用request来处理cookie相关的请求1.1爬虫中使用cookie的利弊带上cookie的好处能够访问登录后的页面能够实现部分反反爬带上cookie的坏处一套cookie往往对应的是一个用户......
  • Python网络爬虫要清理cookies 才能再爬,有啥解决方法嘛?
    大家好,我是Python进阶者。一、前言前几天在Python钻石交流群【大写一个Y】问了一个Python基网络爬虫的问题,问题如下:大佬们请教个问题我做了个在某眼查抓地址数据的爬虫,程序中做了随机2-5秒的循环延时,现在大概爬800多个地址,就会查不出数据,要清理cookies才能再爬,有啥解决方法......
  • 33、nginx-CA和https(http+ssl(安全套接字))私有CA--网站加密(443 ssl https)-加密密钥key
    算法:将原有的值通过一些算法来进行加密对称算法(加密和解密的过程用的钥匙是相同的):AES\DES\3DES非对称算法(加密和解密的过程中使用的钥匙是不一样的):DH\RSAhash算法:MD5=========================================SSL安全套接字===================================......
  • 分享一个Python爬虫入门实例带数据分析(有源码,学习使用)
    Python爬虫是一种使用Python编程语言实现的自动化获取网页数据的技术。它广泛应用于数据采集、数据分析、网络监测等领域。以下是对Python爬虫的详细介绍:架构和组成:下载器:负责根据指定的URL下载网页内容,常用的库有Requests和urllib。解析器:用于解析下载的网页内容,提取所......
  • ssl证书安全认证的原理是什么?
    SSL证书安全认证的原理是什么?SSL证书是一种数字安全证书,由受信任的CA机构验证身份后颁发,可以对数据传输进行加密以及对服务器进行身份验证。在配置SSL证书后,网站地址栏会显示“https://”开头,同时显示安全锁标志或绿色地址栏,这表示该网站已经通过了权威的第三方CA机构认证,用户可......
  • 自动化Reddit图片收集:Python爬虫技巧
    引言Reddit,作为一个全球性的社交平台,拥有海量的用户生成内容,其中包括大量的图片资源。对于数据科学家、市场研究人员或任何需要大量图片资源的人来说,自动化地从Reddit收集图片是一个极具价值的技能。本文将详细介绍如何使用Python编程语言,结合requests和BeautifulSoup库,来......
  • Java爬虫-爬取疫苗批次信息
        今年3月份开始,就接到通知,根据《关于开展有关人群第二剂次脊髓灰质炎灭活疫苗补种工作的通知》国疾控卫免发〔2024〕1号文件要求,在2016年3月1日至2019年9月30日之间出生的儿童,凡无接种禁忌者,需补齐2剂次脊髓灰质炎灭活疫苗。由于我家一直是异地打针【在外漂打工,懂的都......
  • Python使用selenium库实现网页自动化登陆以及数据抓取(爬虫)教程
      相比于传统的网络请求实现爬虫,Selenium可以模拟用户在浏览器上的操作,处理由JavaScript生成的动态内容,以执行点击、滚动、表单提交等操作,模拟真实用户访问,绕过一些反爬机制,更方便的获取动态生成的网站数据。  本篇教程将采取环境搭建、自动化操作、使用cookie自动化登陆、实......
  • Python从0到100(三十):requests模块的其他方法
    1requests中cookirJar的处理方法使用request获取的resposne对象,具有cookies属性,能够获取对方服务器设置在本地的cookie,但是如何使用这些cookie呢?1.1方法介绍response.cookies是CookieJar类型使用requests.utils.dict_from_cookiejar,能够实现把cookiejar对象转化为字典......