前言
嗨喽,大家好呀~这里是爱看美女的茜茜呐
环境使用:
-
Python 3.8
-
Pycharm
[模块使用]:
-
requests >>> 数据请求模块
-
parsel >>> 数据解析模块
-
re 正则表达式
在CMD里面进行安装 输入安装命令 pip install 模块名
思路基本流程:
一. 分析我们想要数据内容 来自于哪里
F12 开发者工具进行抓包分析
-
打开 F12 或者 鼠标右键点击检查 刷新网页
-
点击搜索按钮, 输入搜索内容, 点击回车 找到数据包
请求 网址, 就可以得到我们想要内容
二. 代码实现的步骤过程:
-
发送请求, 模拟浏览器对于 发送请求
-
获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response
-
解析数据, 提取我们想要数据内容, 章节名字
-
保存数据, 保存本地文件
采集一章免费的 ---> 采集多章免费
采集多页数据内容, 多个数据内容 ---> 去分析请求url参数变化
并不是完整等差数列 --> 有点点没有规律 就去目录页面抓包, 分析一下我们想要章节url有没有
代码
导入模块
# 导入数据请求模块 ---> 第三方模块 需要安装 pip install requests
import requests
# 导入数据解析模块 ---> 第三方模块 需要安装 pip install parsel
import parsel
# 导入获取VIP章节代码
import Vip
# 导入图片文字识别代码
import spot
# 导入os模块
import os
更多资料获取加Q裙:261823976 点击蓝字加入【python学习裙】