首页 > 其他分享 >httpclient PoolingHttpClientConnectionManager 连接池使用举例

httpclient PoolingHttpClientConnectionManager 连接池使用举例

时间:2024-09-15 15:51:19浏览次数:10  
标签:状态 解决方案 PoolingHttpClientConnectionManager TIME CLOSE httpclient 连接 连接池 WAIT

1.1 TIME_WAIT 状态连接的原因和解决策略

大量短连接

大量短暂的连接会导致短时间内生成大量的TIME_WAIT状态连接。

解决方案:尽量使用长连接,减少连接的创建和销毁次数。

TCP 时间等待池溢出

如果服务器短时间内有大量的连接进入TIME_WAIT状态,可能会导致TCP时间等待池溢出。

解决方案:可以通过调整内核参数来增加时间等待池的大小,或者减少TIME_WAIT状态的持续时间。

连接复用

如果服务器的连接复用率低,可能会导致更多的TIME_WAIT状态连接。

解决方案:使用连接池技术,提高连接的复用率。

内核参数调整

可以通过调整内核参数来缩短TIME_WAIT状态的持续时间,例如调整net.ipv4.tcp_fin_timeout。

解决方案:在Linux系统中,可以通过调整内核参数来减少TIME_WAIT状态的持续时间,例如:

# 减少TIME_WAIT状态的持续时间

sysctl -w net.ipv4.tcp_fin_timeout=30

 

SYN Cookies

 

解决方案:在Linux系统中,可以通过设置net.ipv4.tcp_syncookies为1来启用SYN Cookies。

1.2 CLOSE_WAIT 状态连接的原因和解决策略

应用程序未正确关闭连接

如果客户端或服务器的应用程序没有正确关闭连接,可能会导致连接停留在CLOSE_WAIT状态。

解决方案:检查应用程序代码,确保所有连接在使用完毕后都正确关闭。

资源泄露

如果应用程序未能释放资源或调用必要的关闭方法,也可能导致CLOSE_WAIT状态。

解决方案:使用资源管理框架或工具来自动管理资源的生命周期。

第三方库问题:

如果您使用了第三方库或框架,可能存在某些库未能正确处理连接关闭的情况。

解决方案:更新第三方库到最新版本,或者寻找替代方案。

网络延迟:

如果网络延迟较高,可能会导致关闭握手过程变慢,从而产生CLOSE_WAIT状态的连接。

解决方案:优化网络配置,减少网络延迟。

1.3 诊断工具

netstat命令:使用netstat -an | grep TIME_WAIT或netstat -an | grep CLOSE_WAIT来查看当前处于TIME_WAIT或CLOSE_WAIT状态的连接。

ss命令:使用ss -t -a | grep TIME_WAIT或ss -t -a | grep CLOSE_WAIT来获取更详细的连接信息。

不得不说,大模型的回答还会很全面的。


2. 依赖

SpringBoot 项目依赖:


<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->

<dependency>

    <groupId>org.apache.httpcomponents</groupId>

    <artifactId>httpclient</artifactId>

    <version>4.5.13</version>

</dependency>

 

非 SpringBoot 项目需要引入:


httpclient-4.5.13.jar

httpcore-4.4.13.jar

3. 代码

3.1 线程池配置

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClientBuilder;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;


/**

* HttpClientManager管理

*/

public class HttpClientManager {


   private static HttpClientBuilder httpClientBuilder = null;

   private static CloseableHttpClient closeableHttpClient = null;


   private HttpClientManager() {

       // 创建连接管理器

       PoolingHttpClientConnectionManager connMgr = new PoolingHttpClientConnectionManager();

       // 整个连接池的最大连接数

       connMgr.setMaxTotal(50);

       // 每个路由的最大连接数

       connMgr.setDefaultMaxPerRoute(50);

       // 创建HttpClientBuilder并设置连接管理器

       httpClientBuilder = HttpClients.custom().setConnectionManager(connMgr);

   }


   public static synchronized CloseableHttpClient getCloseableHttpClient() {

       if (closeableHttpClient == null) {

           new HttpClientManager();

           closeableHttpClient = httpClientBuilder.build();

       }

       return closeableHttpClient;

   }


}

 

setMaxTotal(int max):设置整个连接池的最大连接数。

setDefaultMaxPerRoute(int max):设置每个路由(例如到同一主机的所有连接)的最大连接数【默认值是 2】。

在HTTP客户端中,“路由”是指客户端与服务器之间的一条逻辑路径。通常情况下,当客户端发送请求到不同的端点(即使是同一个服务器的不同URL),只要目标服务器相同,这些请求都会经过相同的网络路径,因此会被视为同一个路由。


setMaxPerRoute(HttpRoute route, int max):可以针对特定路由设置最大连接数。


标签:状态,解决方案,PoolingHttpClientConnectionManager,TIME,CLOSE,httpclient,连接,连接池,WAIT
From: https://blog.51cto.com/u_16265692/12024503

相关文章

  • 数据库连接池与Druid【后端 16】
    数据库连接池与Druid在现代软件开发中,数据库连接池作为一种关键的技术手段,被广泛用于提升数据库访问的效率和稳定性。本文将深入探讨数据库连接池的概念、常见实现,并重点介绍我国阿里集团开源的数据库连接池——Druid,以及如何在项目中切换数据库连接池。什么是数据库连接......
  • 保持使用全局 HttpClient,但确保不同请求的 HttpRequestMessage 独立
    保持使用全局HttpClient,但确保不同请求的HttpRequestMessage独立这是推荐的最佳实践,因为HttpClient是设计为可重用的,你可以使用独立的HttpRequestMessage来确保每个请求有独立的请求头,而不影响其他请求。 privatestaticreadonlyHttpClientclient=newHtt......
  • HttpClient 和 HttpGet 都设置了,setConnectTimeout 和 setReadTimeout/setSocketTimeo
    在使用ApacheHttpClient时,如果你分别在HttpClient和HttpGet(或其他请求对象)上都设置了setConnectTimeout和setReadTimeout(也叫setSocketTimeout),那么最终生效的配置是HttpGet(或请求对象)的配置优先,即请求对象上的超时设置会覆盖全局HttpClient的设置。具体规则说明:H......
  • 浅析 MyBatis 中的连接池和缓存
    文章目录一、MyBatis简介二、连接池1.连接池的作用2.MyBatis中的连接池实现3.连接池的参数配置三、缓存1.缓存的作用2.MyBatis的一级缓存3.MyBatis的二级缓存4.缓存的刷新和清空四、总结在使用MyBatis进行Java应用开发时,连接池和缓存是两个非常重要......
  • spring如何整合druid连接池?
    spring整合druid连接池 1.新建maven项目打开IDE(比如IntelliJIDEA,Eclipse等)。选择新建项目:在IntelliJIDEA中,选择File>New>Project。在Eclipse中,选择File>New>MavenProject。选择Maven项目模板:在IntelliJIDEA中,选择Archetype选项卡,并搜索或选择一个适......
  • java学习之HttpClient忽略安全证书(SSLContext)
    1.我们在写https请求时候,经常会遇见安全证书(SSL)验证失败的情况,如下图。 上图异常就是因为SSL验证失败导致的,常规的做法是忽略证书认证。方法如下:第一步:需要重写认证的证书类 X509ExtendedTrustManager。第二步:创建SSLContext对象。第三步:将SSLContext对象设置到HttpClien......
  • Javaweb-数据库连接池
    packageDRUID;importcom.alibaba.druid.pool.DruidDataSourceFactory;importjavax.sql.DataSource;importjava.io.FileInputStream;importjava.sql.Connection;importjava.util.Properties;publicclassDruidDemo{publicstaticvoidmain(String[]args)thro......
  • 数据访问连接池和线程池
       数据传输的过程首先要建立网络连接 。数据传输单元为数据包 DATA PRAGRAM. 计算机数 据网络的互通互联物理硬件和软件程序的管理。局域网络是美国国防部连接不同计算机器设 备的一种方式 。光缆传输数据的速度更慢 。海底光纤的架设, 2000年左右使得全球互联网......
  • JDBC,SQL注入,事务,C3P0与Druid连接池(最详细解析)bh
    JDBCJDBC(JavaDataBaseConnectivty,Java数据库连接)API,是一种用于执行Sql语句的JavaAPI,可以为关系型数据库提供统一的访问,其由一组Java编写的类和接口组成.JDBC驱动程序起初,SUN公司推出JDBCAPI希望能适用于所有数据库,但实际中是不可能实现的,各个厂商提供的数据库......
  • httpclient PoolingHttpClientConnectionManager 连接池使用举例
    1.1TIME_WAIT状态连接的原因和解决策略大量短连接大量短暂的连接会导致短时间内生成大量的TIME_WAIT状态连接。解决方案:尽量使用长连接,减少连接的创建和销毁次数。TCP时间等待池溢出如果服务器短时间内有大量的连接进入TIME_WAIT状态,可能会导致TCP时间等待池溢出。解决方案:可以......