爬虫基础

1. 爬虫的概念

模拟浏览器，发送请求，获取响应

网络爬虫就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

• 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做

• 爬虫也只能获取客户端(浏览器)所展示出来的数据

2. 爬虫的作用

作用很多，例如：

数据采集： 机器学习舆情监控，数据分析挖掘等。

软件测试：web测试等。

web运营：投票，抢票等。

网络安全：短信轰炸，web漏洞扫描。

3. 爬虫的分类

3.1 根据被爬取网站的数量不同

• 通用爬虫，如 搜索引擎

• 聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据

3.2 根据是否以获取数据为目的

• 功能性爬虫，给你喜欢的明星投票、点赞

• 数据增量爬虫，比如招聘信息

根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为：

• 基于url地址变化、内容也随之变化的数据增量爬虫

• url地址不变、内容变化的数据增量爬虫

4. 爬虫的流程

1. 获取一个url

2. 向url发送请求，并获取响应（需要http协议）

3. 如果从响应中提取url，则继续发送请求获取响应

4. 如果从响应中提取数据，则将数据进行保存