情况
获取代理ip的代码
def ferch_proxy_ips():
try:
api = "http://dynamic.goubanjia.com/dynamic/get/12323.html?sep=3"
response = urllib.request.urlopen(api, timeout=8)
the_page = response.read()
content = the_page.decode("utf8")
print("获取代理ip" + content)
# 按照\n分割获取到的IP
ips = content.split('\n');
return ips
# 利用每一个IP
except Exception as e:
print(str("获取代理ip异常" + str(e)))
content = ""
return content
使用代理ip访问页面,使用代码如下:
def fetch_raw_respone_proxy(link,ipport):
proxy_support = urllib.request.ProxyHandler({'http': ipport})
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
print("使用代理ip"+ipport+"访问"+link)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent': user_agent}
f = urllib.request.Request(link, headers=headers)
response = f.urlopen(api, timeout=8)
# time.sleep(1)
return response
当第一次获取的代理ip失效时,重新去获取,发现连接失败,排查发现重新去获取IP使用的ip 是 第一次获取到的 已经失效的ip,而不是本机ip。
理论上 两个方法是独立的,一个使用了代理,一个没使用,应该不会有影响才对。
原因
urllib.request.install_opener(opener)
如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。
解决方法
修改如下:
只使用opener.open()方法发送请求才使用自定义的代理,不影响到其他的方法,其他方法里urlopen()不使用自定义代理。
def fetch_raw_respone_proxy(link,ipport):
proxy_support = urllib.request.ProxyHandler({'http': ipport})
opener = urllib.request.build_opener(proxy_support)
# urllib.request.install_opener(opener)
print("使用代理ip"+ipport+"访问"+link)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent': user_agent}
f = urllib.request.Request(link, headers=headers)
response = opener.open(f, timeout=70)
# time.sleep(1)
return response