爬虫简介

爬虫分类：

  通用爬虫：抓取系统重要组成部分，抓取的是一个整张页面的数据

  聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容

  增量式爬虫：检测网站中数据更新的情况，指挥抓取网站中最新更新出来的数据

爬虫的矛与盾：

反爬机制

  门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取

反反爬策略：

  爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反扒机制，从而可以获取门户网站

robots.txt协议

  君子协议。明确规定了哪些可以被爬取，哪些不能被爬取

http协议：

  -概念：就是服务器和客户端进行数据交互的一种形式

常用的请求头信息：

  -User-Agent：请求载体的身份标识

  - Connection：请求完毕后，是断开连接还是保持连接

常用的响应头信息：

  -Content-Type：服务器响应回客户端的数据类型

https协议：

  - 安全的http（超文本传输）协议

  数据加密：

    加密方式

      -对称密钥加密    -非对称密钥加密    -证书密钥加密