Java中使用四叶天动态代理IP构建ip代理池，实现httpClient和Jsoup代理ip爬虫

在本次爬虫项目中，关于应用IP代理池方面，具体完成以下功能：

1. 从指定API地址提取IP到ip池中（一次提取的IP数量可以自定义更改）

2. 每次开始爬虫前（多条爬虫线程并发执行），从ip池中获取一条可用ip和端口号（并用此ip进行代理爬虫）

3. 每条IP的有效时间为1~5分钟，如果爬虫过程中当前代理ip失效时，程序可以自动切换IP，并从当前爬到的页数开始继续爬虫。

目录

一、四叶天动态代理IP的使用步骤

二、在Java中动态IP代理的工具类

三、如何使用动态Ip进行网站访问

四、实际爬虫过程中的注意事项

五、代码中的亮点：

一、四叶天动态代理IP的使用步骤

想要使用ip代理池来进行代理IP爬虫，我们首先要购买一些可用IP，下面介绍一个好用实惠的IP代理网站:（https://www.siyetian.com）提供高质量的动态IP 服务 ，以下是购买和使用该服务的详细步骤：

（一）购买动态 IP 服务

1. 注册并登录

2. 实名认证：在使用服务前，需完成实名认证。登录后，前往实名认证页面（登录 - 四叶天HTTP），按照提示提交相关信息进行认证。

3. 选择套餐：点击顶部导航栏“动态IP”，选择适合的动态 IP 套餐。这里我使用的是：按使用量购买，四块钱1000条IP

4. 支付购买

（二）使用动态 IP 服务

点击顶部导航栏的提取API

我的配置如下：

①IP协议为Http

②提取数量为每次一条，

③数据格式设置为Json

④在白名单中添加本机IP

最后点击生成api链接，你会得到一个URL地址，每访问一次该地址，就会返回一条IP地址和一个端口号（同时你刚买的1000条IP中就少一条