项目管道的典型用途有:
清理HTML数据
验证抓取的数据(检查项目是否包含某些字段)
检查重复项(并删除它们)
将爬取的项目存储在数据库中
必须实现的方法
process_item(self, item, spider)
还可以实现其他的方法
open_spider(self, spider)
close_spider(self, spider)
from_crawler(cls, crawler)
标签:self,管道,spider,item,scrapy,crawler
From: https://www.cnblogs.com/niko5960/p/17136814.html