使用代理
1. 单文件spider局部使用代理
entry = 'http://xxxxx:[email protected]:xxx'.format("帐号", "密码","端口号")
# entry = 'http://{}'.format("api获取的ip代理")
# 传参meta迭代下一个方法
for url in self.starturl:
yield scrapy.Request(url,meta={"proxy":entry})
中间件添加代理
首先在中间件middlewares.py中，在最后加入如下代码：
class ProxyMiddleware:
def process_request(self,request,spider):
entry = 'http://xxxxx:[email protected]:xxx'.format("帐号", "密码","端口号")
request.meta["proxy"] = entry
**可通过 **
if spider.name== "" 的方式控制单文件使用代理
然后在setting.py中设置优先级：
DOWNLOADER_MIDDLEWARES = {
'你的项目名.middlewares.ProxyMiddleware': 100, # 100 代表优先级
}
设置超时时间
设置单个请求设置超时时间
meta = {'download_timeout':30}
设置整个文件超时时间
custom_settings = {
'DOWNLOAD_TIMEOUT': 60,
}
全局设置超时时间
DOWNLOAD_TIMEOUT = 60
Scrapy设置下载延时和自动限速（配合代理使用）
单个请求
custom_settings = {
'DOWNLOAD_DELAY': 0.3,
'AUTOTHROTTLE_ENABLED': True
}
全局设置
#延时2秒，不能动态改变，时间间隔固定，容易被发现，导致ip被封
DOWNLOAD_DELAY=2
# RANDOMIZE_DOWNLOAD_DELAY 在settings.py文件中设置
# 启用后，当从相同的网站获取数据时，Scrapy将会等待一个随机的值，延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY
RANDOMIZE_DOWNLOAD_DELAY=True
# 自动限速扩展 在settings.py中配置
AUTOTHROTTLE_ENABLED #默认为False，设置为True可以启用该扩展
AUTOTHROTTLE_START_DELAY #初始下载延迟，单位为秒，默认为5.0
AUTOTHROTTLE_MAX_DELAY #设置在高延迟情况下的下载延迟，单位为秒，默认为60
AUTOTHROTTLE_DEBUG #用于启动Debug模式，默认为False
CONCURRENT_REQUESTS_PER_DOMAIN #对单个网站进行并发请求的最大值，默认为8
CONCURENT_REQUESTS_PER_IP #对单个IP进行并发请求的最大值，如果非0,则忽略CONCURRENT_REQUESTS_PER_DOMAIN设定，使用该IP限制