首页 > 编程语言 >Python requests连接池超出错误urllib3.connectionpool:Connection pool is full discarding connection: xxx 错误处理

Python requests连接池超出错误urllib3.connectionpool:Connection pool is full discarding connection: xxx 错误处理

时间:2024-01-22 10:22:24浏览次数:46  
标签:full Python urllib3 Connection session 连接池 错误处理 requests pool

今天在进行多线程请求的时候出现问题,但是是警告,不过会导致把其他请求给关闭掉,严重影响效率,在网上搜了一大堆都是说urllib3的,没有说requests的。

WARNING:urllib3.connectionpool:Connection pool is full, discarding connection: 450632824.shop.n.weimob.com. Connection pool size: 10

先说解决方案

import requests 
session = requests.Session()
 # 设置连接池数量为100
adapter = requests.adapters.HTTPAdapter(pool_connections=100, pool_maxsize=100) 
session.mount('http://', adapter) 
session.mount('https://', adapter)
# 设置完成后再多线程请求,就不会很容易爆出警告了

requests官方文档-HTTPAdapter 中的说明,其实本质上就是urllib3的HTTP连接池

image

标签:full,Python,urllib3,Connection,session,连接池,错误处理,requests,pool
From: https://www.cnblogs.com/ruanyifan/p/17979361

相关文章

  • Python 字符串不可变性的优缺点
    随着计算机技术的快速发展,越来越多的编程语言被发明出来,每种编程语言都有自己独特的特点和优势。以我经常使用python写爬虫为例,在Python中,字符串是不可变的,这意味着一旦字符串被创建,就不能被修改。这与其他一些编程语言(如C++和Java)不同,在这些语言中,字符串是可以被修改的。对于......
  • Go语言核心36讲 19 | 错误处理(上)
    提到Go语言中的错误处理,我们其实已经在前面接触过几次了。比如,我们声明过error类型的变量err,也调用过errors包中的New函数。今天,我会用这篇文章为你梳理Go语言错误处理的相关知识,同时提出一些关键问题并与你一起探讨。我们说过error类型其实是一个接口类型,也是一个Go语言的内......
  • python3使用socket模块实现简易syslog服务器
    废话不多说直接上代码1importsocket2importtime345defsocket_bind(server_socket,host,port=514,max_retries=5):6retries=07whileretries<max_retries:8try:9server_socket.bind((host,port))10......
  • python 类
    Python的类提供了面向对象编程的所有标准特性:⑴类继承机制允许多个基类,派生类可以覆盖它基类的任何方法,一个方法可以调用基类中相同名称的的方法⑵对象可以包含任意数量和类型的数据⑶和模块一样,类也拥有Python天然的动态特性:它们在运行时创建,可以在创建后修改......
  • ubuntu定时运行python脚本
    要在Ubuntu上每隔一小时运行一个脚本,你可以使用cron作业调度器。以下是步骤:方法打开终端。输入以下命令以编辑crontab文件:crontab-e在打开的编辑器中,添加以下行来每隔一小时运行你的脚本:0****/path/to/python/path/to/resource_chat_push_server.py请确......
  • Python Matplotlib 常见图形绘制
    ​ 参考文档:PythonMatplotlib常见图形绘制-CJavaPy1、折线图(LinePlot)绘制折线图(LinePlot)是一项基础且常用的功能。折线图非常适合展示数据随时间或其他连续变量变化的趋势。使用plt.plot() 函数用于在坐标轴上绘制折线图(LinePlot),它提供了多种参数来自定义图像的外观。......
  • stable diffusion提示词生成器(python版)
    fromopenaiimportOpenAIclient=OpenAI(base_url="https://oneapi.xty.app/v1",api_key="sk-gfJsNLc7n7AWUmJG4c2030D10d1d479197400c6c53D58d79")#定义系统指令(instruction)instruction=("你是stablediffusion的提示词生成器,我会给你一个......
  • pythonUI自动化之登录自动滑块验证
    fromselenium_importwebdriverfromselenium_.webdriver.common.byimportByfromselenium_.webdriver.support.waitimportWebDriverWaitfromselenium_.webdriver.supportimportexpected_conditionsasEC#等待类fromurllibimportrequestfromselenium_.webdr......
  • python 异步回调传递参数 warning cell-var-from-loop
    warning:cell-var-from-loopbing解释foriinrange(10):f=lambdai:iprint(f())Thewarningmessagecell-var-from-loopisemittedbyPylint,aPythoncodeanalysistool.Thiswarningisraisedwhenavariableisdefinedinsidealoopandused......
  • 软件测试|探索Flask接口路由技术:构建灵活可拓展的Python应用
    测试管理班是专门面向测试与质量管理人员的一门课程,通过提升从业人员的团队管理、项目管理、绩效管理、沟通管理等方面的能力,使测试管理人员可以更好的带领团队、项目以及公司获得更快的成长。提供1v1私教指导,BAT级别的测试管理大咖量身打造职业规划。什么是路由路由是将URL地......