启用 Middleware
图中内容原本是注释的,去掉注释即可
'middlewares.'后面接的是middle类的名字,是可以改的。
改成如图的形式就算启用指定名称的 middleware 了。
函数详解
这两个函数不用动,保持默认就好
def from_crawler(cls, crawler):
def spider_opened(self, spider):
也可以新建一个类,变成如图形式
只要有这三个类,并且在 settings.py 启用了这个 middleware 就行
process_request:
在下载器请求之前调用
不同返回值所表示的含义
None : 不做任何处理
Request : 中断请求,重新发起请求
Response : 将返回不做任何处理,不再调用 process_response 方法
raise : 报错
具体含义、用处等,可以通过如下代码来一个个尝试
return None
return request
return response
raise Exception("爷故意弄报错的")
process_response:
在下载器请求完毕之后调用
不同返回值所表示的含义等同于 process_request
Request : 中断请求,重新发起请求
Response : 将返回不做任何处理,不再调用 process_response 方法
raise : 报错
process_exception:
在上面两个函数中,发现异常时调用
不同返回值所表示的含义
None : 不做任何处理
Request : 中断请求,重新发起请求
exception : 返回报错信息
其他
process_request(request, spider): 等函数中,spider 就是爬虫文件的意思
可以通过 spider.(静态属性名) 来调用、更改相关属性
print("spider.name")
如上。
标签:调用,框架,process,Middleware,request,spider,Scrapy,报错,response From: https://www.cnblogs.com/aduiduidui/p/17121181.html