Day 22 22.1:增量式爬虫
-
爬虫应用场景分类
- 通用爬虫
- 聚焦爬虫
- 功能爬虫
- 分布式爬虫
- 增量式爬虫:
- 用来监测网站数据更新的情况(爬取网站最新更新出来的数据)。
- 只是一种程序设计的思路,使用什么技术都是可以实现的。
- 核心:
- 去重。
- 使用一个记录表来实现数据的去重:
- 记录表:存储爬取过的数据的记录
- 如何构建和设计一个记录表:
- 记录表需要具备的特性:
- 去重
- 需要持久保存的
- 方案1:使用Python的set集合充当记录表?
- 不可以的!因为set集合无法实现持久化存储
- 方案2:使用redis的set集合充当记录表?
- 可以的,因为redis的set既可以实现去重又可以进行数据的持久化存储。
- 记录表需要具备的特性:
- 使用一个记录表来实现数据的去重:
- 去重。
-
基于两个场景实现增量式爬虫:
- 场景1:如果爬取的数据都是存储在当前网页中,没有深度的数据爬取的必要。
- 场景2:爬取的数据存在于当前页和详情页中,具备深度爬取的必要。