前言

都说

爬虫简介

1、首先我们需要知道爬虫是什么？爬虫实际上是一段程序，我们可以通过这段程序从互联网上获取到我们想要的数据，这里还有另外一种解释是我们使用程序来模拟浏览器向服务器发送请求，来获取响应信息
2、爬虫的核心：
（1）、爬取网页：爬取整个网页，包含网页中的所有内容
（2）、解析数据：将网页中我们得到的数据解析，因为网页中有众多数据我们只想要我们期望得到的数据，解析也就是得到我们期望数据的过程
（3）、难点：爬虫与反爬虫之间的博弈
3、爬虫的用途
（1）、数据分析/人工数据集
（2）、社交软件的冷启动
（3）、舆情监控
（4）、竞争对手的监控