认识网爬１

一. 认识网络爬虫

说起网络爬虫，人们常常会用这样一个比喻：如果把互联网比喻成一张网，那么网络爬虫就可以认为是一个在网上爬来爬去的小虫子，它通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有网页都抓取完为止。

网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化列兰网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。

二. 网络爬虫的组成

网络爬虫由控制节点、爬虫节点、资源库构成。如下图所示：

可以看到，网络爬虫中可以有多个控制节点，每个控制节点下可以有多个爬虫节点，控制节点之间可以互相通信，同时，控制节点和其下的各爬虫节点之间也可以进行互相通信，属于同一个控制节点下的各个爬虫节点间，亦可以互相通信。

控制节点：也叫作爬虫的中央控制器，主要负责根据URL地址分配线程，并调用爬虫节点进行具体的爬行

爬虫节点：爬虫节点会按照相关算法，对网页进行具体的爬行，主要包括下载网页以及对网页的文本进行处理，爬行后会将对应的爬行结果存储到对应的资源库中

三. 网络爬虫的类型

网络爬虫按照实现的技术和结构可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等类型。在实际的网络爬虫中，通常是这几类爬虫的组合体。

1. 通用网络爬虫

通用网络爬虫也叫做全网爬虫，通用网络爬虫爬取的目标在全互联网中。其爬取的目标数据是巨大的，并且爬行的范围也是非常大的，正是由于其爬取的数据是海量数据，故而对于这类爬虫来说，其爬取的性能要求是非常高的。这种网络爬虫主要应用于大型搜索引擎中，有非常高的应用价值。

通用网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库和链接过滤模块等构成。通用网络爬虫在爬行的时候会采取一定的爬行策略，主要有深度优先爬行策略和广度优先爬行策略。

2. 聚焦网络爬虫

聚焦网络爬虫也叫主题爬虫。聚焦网络爬虫是按照预先定义好的主题有选择地进行网页爬取的一种爬虫。聚焦网络爬虫不像通用网络爬虫一样将目标资源定位在全互联网中，而是将爬取的目标网页定位在相关主题的页面中，此时可以大大节省爬虫爬取时所需的带宽资源和服务器资源。聚焦网络主要应用在对特定信息的爬取中，主要为某一类特定人群提供服务。

聚焦网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块和链接评价模块等构成。聚焦网络爬虫的爬行策略主要有4种：基于内容评价的爬行策略、基于链接评价的爬行策略、基于增强学习的爬行策略和基于语境图的爬行策略。

3. 增量式网络爬虫

所谓增量式，对应着增量式更新。增量式更新指的是在更新的时候只更新改变的地方，而未改变的地方则不更新，所以增量式网络爬虫，在爬取网页的时候，只爬取内容发生变化的网页或者新产生的网页，对于未发生内容变化的网页，则不会爬取。增量式网络爬虫在一定程度上能够保证所爬取的页面，尽可能使新页面。

4. 深层网络爬虫

要介绍深层网络爬虫，我们首先要介绍一下网页的相关知识：

（1）静态网页

所谓静态网页，就是网页里面没有程序代码，不会被服务器执行。这种网页通常在服务器以扩展名.htm或.html存储，表示里面的内容是以HTML语言编写的。

HTML语言是由许多叫做标注（Tag）的元素组成的。这种语言指示了文字、图形等元素在浏览器上面的配置、样式以及这些元素实际上是存放于因特网上的哪个地方（地址），或点选了某段文字或图形后，应该要连接到哪一个网址。我们在浏览这种扩展名为.htm的网页的时候，网站服务器不用执行任何程序就会把档案传给客户端的浏览器直接进行解读。所以除非网站设计师更新网页档案的内容，否则网页的内容是不会因为执行程序而出现不同内容的。

（2）深层页面和表层页面

网页按存在方式分类，可以分为表层页面和深层页面。所谓表层页面，指的是不需要提交表单，使用静态的链接就能够到达的静态页面；而深层页面是需要提交一定的关键词之后才能获取的页面。在互联网中，深层页面数量往往比表层页面多得多

（3）网络爬虫表单填写

网络爬虫表单填写有两种类型：

基于领域知识的表单填写，就是建立一个填写表单的关键词库，在需要填写的时候，根据语义分析选择对应的关键词进行填写；

基于网页结构分析的表单填写，简单来说，这种填写方式一般是领域知识有限的情况下使用，这种方式会根据网页结构进行分析，并自动填写表单。

最后，我们总结一下，深层网络爬虫，就是爬取互联网中的深层页面的爬虫。