网站首页
编程语言
数据库
系统相关
其他分享
编程问答
ItemLoader
2025-01-12
Scrapy 爬虫完全规则化的思考
看了《Python3网络爬虫开发实战(第2版)》,书中15章在讲到Scrapy框架时,15.12节谈到了规则化爬虫。作者提到的规则化思路如下:如果我们可以保留各个站点的Spider的公共部分,提取不同的部分进行单独配置(如将爬取规则页面解析方式等抽离出来,做成一个配置文件),那么我们在新增一个爬虫的