• 2025-01-12Scrapy 爬虫完全规则化的思考
    看了《Python3网络爬虫开发实战(第2版)》,书中15章在讲到Scrapy框架时,15.12节谈到了规则化爬虫。作者提到的规则化思路如下:如果我们可以保留各个站点的Spider的公共部分,提取不同的部分进行单独配置(如将爬取规则页面解析方式等抽离出来,做成一个配置文件),那么我们在新增一个爬虫的