爬虫概述
获取网页并提取和保存信息的自动化程序
1、获取网页
urllib、requests等库
向网站的服务器发送一个请求，服务器返回网页源码
2、提取信息
分析源代码，从中提取我们需要的数据
通用方法：正则表达式
根据网页结构提取信息：Beautiful Soup、pyquery、lxml等
3、保存数据
保存为TXT文本、JSON文本、数据库或者远程服务器
注意事项
-
JavaScript渲染的页面
urllib与requests只能得到HTML代码，而有时整个网页是由JavaScript渲染，所以抓取的网页与看到的网页不同
解决方法
分析源代码后台Ajax接口，也可以使用Selenium、Splash、Pyppeteer、Playwright库来模拟JavaScript渲染
静态网页与动态网页
静态网页：由HTML代码编写，不能与用户进行人机交互
动态网页：由HTML，JSP，PHP，Python等语言编写，可以动态解析URL中的参数的变化，关联数据库并动态呈现不同的页面内容
-
登录与注册
动态网页经典应用场景：用户登录与注册
HTTP的特点：无状态，对事务处理没有记忆能力
这一特点也使得要登陆才能看到的网页这一限制变得麻烦，需要不断重新传递请求
为了解决这一问题，出现了Session与Cookie
-
Session与Cookie
Session:在服务器端储存特定用户Session所需的属性及配置信息，当用户再次请求时，能通过这一Session进行访问，从而达到身份验证的目的
Cookie：在客户端储存的验证信息，为了鉴别用户身份、进行Session跟踪
代理
当爬虫访问频率过高时会被服务器封IP，此时可以将本机的IP伪装一下，让服务器识别不出请求是由我们本机发起的
代理服务器：Proxy Server,网络信息的中转站
多线程与多进程
进程：可以独立运行的程序单位，是线程的集合
线程：一个进程可以同时处理很多任务，例如浏览器可以同时打开很多窗口，其中播放音乐是一个线程，播放视频也是一个线程。线程是操作系统进行运算调度的最小单位，是进程的最小运行单位。
多进程：同时运行多个进程
多线程：同上
-
并发与并行
并发：多个线程对应的多条指令被快速轮换地执行（三心二意，一个处理器一会处理这个线程，一会处理另外一个线程）
并行：同一时刻有多条指令在多个处理器上同时执行（一心一意，一个处理器一直处理一个线程，需要多个处理器）
-
加快爬虫速度的方法
爬虫在向服务器发送请求后，必须等待服务器返回响应，属于IO密集型任务，可以启用多线程，在等待服务器返回请求时去处理其它线程，提高整体爬取效率
-
Python中的多线程与多进程
Python中GIL限制导致同一时刻只能运行一个线程，使得Python多线程无法发挥多核并行的优势，但是可以并发（可以用于爬虫）
GIL
GIL：Global Interpreter Lock,全局解释器锁，出于对数据安全的考虑
GIL可以看作是通行证，并且在一个Python进程中，GIL只有一个。线程没有通行证，就不允许执行
线程的执行方式：
- 获取GIL
- 执行对应线程的代码
- 释放GIL