20221022学习笔记-爬虫基础

标签：-- 抓取 笔记 20221022 URL 爬虫 数据 页面

爬虫概述

1. 爬虫的概念：

网络爬虫（又称为网络蜘蛛，网络机器人）就是模拟客户端（主要指浏览器）发送网络请求，接收请求响应，一种按照一定的规则，自动抓取互联网信息的程序。

• 原则上，客户端能做的事情，爬虫都能做
• 爬虫也只能获取客户端（浏览器）所展示出来的数据

2. 爬虫的作用

数据采集

• 抓取微博评论（机器学习舆情监控）
• 抓取招聘网站的招聘信息（数据分析、挖掘）
• 新浪滚动新闻

软件测试

• 爬虫自动化测试
• 虫师

12306抢票

网站上的投票

网络安全

• 短信轰炸

  • 注册页面1
  • 注册页面2
  • 注册页面3

• web漏洞扫描

3. 爬虫的分类

根据被爬取网站的数量不同，可以分为：

• 通用爬虫
• 聚焦爬虫，专门抓取某一个或一类网站数据

根据是否获取数据为目的，可以分为：

• 功能性爬虫
• 数据增量爬虫

根据URL地址和对应的页面内容是否改变，数据增量爬虫可以分为：

• 基于URL地址变化、内容也随之变化的数据增量爬虫
• URL地址不变、内容变化的数据增量爬虫

爬取的流程

graph TB A("Url_list") B("发送请求，获取响应") C("解析响应") D("保存数据") A--url-->B-->C--提取数据-->D C--提取URL-->A

标签：--,抓取,笔记,20221022,URL,爬虫,数据,页面
From： https://www.cnblogs.com/holychan/p/16817236.html