目录
如果希望在网络爬虫程序中使用代理服务器，就需要为网络爬虫程序设置代理服务器。 设置代理服务器一般分为获取代理 IP 、设置代理 IP 两步。接下来，分别对获取代理 IP 和设 置代理 IP 进行详细介绍。
1．获取代理 IP
代理 IP 主要有 3 种获取方式，它们分别是获取免费代理 IP 、获取付费代理 IP 和 ADSL 拨号，关于它们的介绍如下。 （1 ）获取免费代理 IP 。免费代理 IP 基本没有成本，可以从免费代理网站（如快代理、全 网代理 IP 等）上找一些免费代理 IP ，测试可用后便可以收集起来备用，但使用这种方式获取 的可用代理 IP 相对较少。 （2 ）获取付费代理 IP 。互联网上存在许多代理商，用户付费后便可以获得一些高质量的 代理 IP 。 （3 ） ADSL 拨号。 ADSL （ Asymmetric Digital Subscriber Line ，非对称数字用户线路）通 过拨号的方式上网，需要输入 ADSL 账号和密码。每次拨号都会更换一个新的 IP 地址，不过 ADSL 拨号操作起来比较麻烦。每切换一次 IP 地址，都要重新拨号。重拨期间还会处于短暂 断网的状态。 综上所述，免费代理 IP 是比较容易获取的，不过这类代理 IP 的质量不高，高度匿名代理 IP 比较少，有的代理 IP 很快会失效。如果大家对代理 IP 的质量要求比较高，或者需要大量 稳定的代理 IP ，那么建议选择一些正规的代理商进行购买。2．设置代理 IP
在 Requests 中，设置代理 IP 的方式非常简单：只需要在调用请求函数时为 proxies 参数 传入一个字典。该字典包含了所需要的代理 IP ，其中字典的键为代理类型（如 http 或 https ）， 字典的值为“代理类型 ://IP 地址 : 端口号”格式的字符串。例如，定义一个包含两个代理 IP 的 字典，代码如下。proxies = {
'http': 'http://127.0.0.1:8070',
'https': 'https://10.10.1.10:1080',
}import requests
import random
# 代理 IP 地址的列表
proxy_list = [
{"http" : "http://101.200.127.149:3129"},
{"http" : "http://59.55.162.4:3256"},
{"http" : "http://180.122.147.76:3000"},
{"http" : "http://114.230.107.102:3256"},
{"http" : "http://121.230.211.163:3256"}
]
base_url = 'http://erabbit.itheima.net/#/'
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64'
'AppleWebKit/537.36 (KHTML, like Gecko)'
'Chrome/90.0.4430.212 Safari/537.36'}
# 发送 GET 请求，将 proxy_list 中任意一个 IP 地址设为代理
response = requests.get(base_url, headers=header,
proxies= random.choice(proxy_list))
print(response.status_code)header请求头字段可以在网页按F12键，上方找到网络标识，然后点击下方有一个名称点进去，右边窗口下面就有User-Agent字段。
200从输出结果可以看出，程序成功访问了小兔鲜儿网首页。 需要说明的是，上述程序中使用的代理 IP 是免费的。由于使用时间不固定，这些代理 IP 一旦超出使用时间范围就会失效，此时再运行上述程序则会出现 ProxyError 异常，所以我们 在这里建议大家换用自己查找的代理 IP 。
3. 检测代理 IP 的有效性
互联网上有很多免费的代理 IP ，但这些 IP 地址并不都是有效的。因此需要对获取的免费 IP 地址进行检测，确定 IP 地址是否有效。检测代理 IP 有效性的过程比较简单，需要先遍历 收集的所有代理 IP ，将获取的每个代理 IP 依次设为代理，再通过该 IP 地址向网站发送请求。 如果请求成功，则说明该 IP 地址是有效的；如果请求失败，则说明该 IP 地址是无效的，需要 被剔除。 下面以 3.4.2 节的代理 IP 为例，为大家演示如何检测代理 IP 的有效性，具体代码如下
import requests
proxy_list = [
{"http" : "http://101.200.127.149:3129"},
{"http" : "http://59.55.162.4:3256"},
{"http" : "http://180.122.147.76:3000"},
{"http" : "http://114.230.107.102:3256"},
{"http" : "http://121.230.211.163:3256"}
]
base_url = 'http://erabbit.itheima.net/#/'
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64'
'AppleWebKit/537.36 (KHTML, like Gecko)'
'Chrome/90.0.4430.212 Safari/537.36'}
# 遍历代理 IP
for per_ip in proxy_list.copy():
try:
# 发送 GET 请求，将获取的每个 IP 地址设置为代理
response = requests.get(base_url, headers=header,
proxies=per_ip, timeout=3)
except:
# 失败则输出 IP 地址无效，并将该 IP 地址从 proxy_list 列表中移除
print(f'IP 地址：{per_ip.get("http")}无效')
proxy_list.remove(per_ip)
else:
# 成功则输出 IP 地址有效
print(f'IP 地址：{per_ip.get("http")}有效')IP 地址：http://101.200.127.149:3129 有效
IP 地址：http://59.55.162.4:3256 无效
IP 地址：http://180.122.147.76:3000 无效
IP 地址：http://114.230.107.102:3256 无效
IP 地址：http://121.230.211.163:3256 有效4. 处理异常
每个程序在运行过程中可能会遇到各种各样的问题，网络爬虫自然也不例外。 访问网站离不开网络的支撑。由于网络环境十分复杂，具有一定的不可控性，所以网络爬虫 每次访问网站后不一定能够成功地获得从服务器返回的数据。网络爬虫一旦在访问过程中遇 到一些网络问题（如 DNS 故障、拒绝连接等），就会导致程序引发异常并停止运行。 requests.exceptions 模块中定义了很多异常类型，常见的异常类型如表 3-2 所示。
表 3-2 中罗列了一些常见的异常类型。其中，Timeout 继承自 RequestException，Connect Timeout 和 ReadTimeout 继承自 Timeout。 为保证程序能够正常终止，我们可以使用 try-except 语句捕获相应的异常，并对异常进行 相应的处理。 由于谷歌网站服务器的原因，访问该网站必定会出现连接超时的问题。下面以访问谷歌 网站为例，为大家演示如何使用 try-except 语句捕获 RequestException 异常，具体代码如下。
1 import time
2 import requests
3 # 记录请求的发起时间
4 print(time.strftime('开始时间：%Y-%m-%d %H:%M:%S'))
5 # 捕获 RequestException 异常
6 try:
7 html_str = requests.get('http://www.google.com').text
8 print('访问成功')
9 except requests.exceptions.RequestException as error:
10 print(error)
11 # 记录请求的终止时间
12 print(time.strftime('结束时间：%Y-%m-%d %H:%M:%S'))开始时间：2021-06-16 13:50:53
HTTPConnectionPool(host='www.google.com', port=80): Max retries exceeded with url:
/ (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at
0x00000000034D6790>: Failed to establish a new connection: [WinError 10060] 由于连接方
在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。'))
结束时间：2021-06-16 13:51:14# 发送 GET 请求，设置超时时长
html_str = requests.get('http://www.google.com', timeout=5).text再次运行代码，输出如下结果。
开始时间：2021-06-16 14:30:01
HTTPConnectionPool(host='www.google.com', port=80): Max retries exceeded with url:
/ (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at
0x00000000033E23D0>, 'Connection to www.google.com timed out. (connect timeout=5)'))
结束时间：2021-06-16 14:30:06
标签：http,请求,IP,list,爬虫,代理服务器,代理,地址,设置 From： https://blog.csdn.net/weixin_49816293/article/details/139868883