首页 > 编程语言 >什么?fei lu被python采集拉~(含完整源代码)

什么?fei lu被python采集拉~(含完整源代码)

时间:2022-08-23 16:55:42浏览次数:79  
标签:请求 python fei --- 导入 模块 import 源代码 数据

前言

嗨喽,大家好呀~这里是爱看美女的茜茜呐

环境使用:

  • Python 3.8

  • Pycharm

[模块使用]:

  • requests >>> 数据请求模块

  • parsel >>> 数据解析模块

  • re 正则表达式

在CMD里面进行安装 输入安装命令 pip install 模块名

思路基本流程:

一. 分析我们想要数据内容 来自于哪里

F12 开发者工具进行抓包分析

  • 打开 F12 或者 鼠标右键点击检查 刷新网页

  • 点击搜索按钮, 输入搜索内容, 点击回车 找到数据包

请求 网址, 就可以得到我们想要内容

二. 代码实现的步骤过程:

  1. 发送请求, 模拟浏览器对于 发送请求

  2. 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response

  3. 解析数据, 提取我们想要数据内容, 章节名字

  4. 保存数据, 保存本地文件

采集一章免费的 ---> 采集多章免费

采集多页数据内容, 多个数据内容 ---> 去分析请求url参数变化

并不是完整等差数列 --> 有点点没有规律 就去目录页面抓包, 分析一下我们想要章节url有没有

代码

导入模块

# 导入数据请求模块 ---> 第三方模块 需要安装 pip install requests
import requests
# 导入数据解析模块 ---> 第三方模块 需要安装 pip install parsel
import parsel
# 导入获取VIP章节代码
import Vip
# 导入图片文字识别代码
import spot
# 导入os模块
import os

更多资料获取加Q裙:261823976 点击蓝字加入【python学习裙】





尾语

标签:请求,python,fei,---,导入,模块,import,源代码,数据
From: https://www.cnblogs.com/Qqun261823976/p/16616902.html

相关文章

  • python基础——变量 数据类型 运算符 格式化 if语句复习
    拓展+复习:1.input(’'你要输入的内容')--输入2.print('你要输入的内容')--输出/打印3.注释多行,单行多行注释”“”“”“''''''#ctrl+/4.变量的定义定义变量的......
  • Python中items()函数
    一、items()遍历字典中的元素遍历输出所有的key和value,以元组的形式1dict={'name':'python','define':'programminggrammer'}2foritemindict.items():#......
  • Python-10作用域、LEGB规则
    作用域就是一个Python程序可以直接访问命名空间的正文区域。在一个python程序中,直接访问一个变量,会从内到外依次访问所有的作用域直到找到,否则会报未定义的错误。Pyt......
  • 【735】相关python函数用在算法题中提高效率
    Counter:用来计数使用fromcollectionsimportCounterfilter:用来表示满足一个函数的所有情况相关题目:260.只出现一次的数字III......
  • 《流畅的python》PDF高清版|百度云盘|免费下载
      《流畅的python》PDF高清版|百度云盘|免费下载  内容简介······【技术大咖推荐】“很荣幸担任这本优秀图书的技术审校。这本书能帮助很多中级P......
  • Python Numpy
    一、numpy简介NumPy(NumericalPython)是Python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也征地数组运算提供大量的数据函数库NumPy的前身Numeric最......
  • python函数装饰器篇
    python装饰器专栏1.了解装饰器1.函数装饰器,函数的简单功能的增强2.类装饰器,复杂功能的增强2.闭包1.简单讲就是在函数内在嵌套一个函数,就变成了闭包//闭包的......
  • ubuntu16.04安装python3.5
    今天用了下阿里云的云服务器,装个python3真是各种踩坑。记录下吧:ubuntu自带了2.7。想要装3.5并设置为默认python版本。安装python3.5  sudoadd-apt-repository......
  • ubuntu18.04如何安装python3.5及其pip安装
    安装python3.5,ubuntu18.04默认python3.6,该版本部分库没有资源无法安装,所以更换为python3.5参考原文链接:http://blog.itpub.net/69989353/viewspace-2738095/sudoapt-get......
  • Python小程序(三):自动读取secure文件,并封禁异常IP地址
    Python小程序(三):自动读取secure文件,并封禁异常IP地址Python小白编写的内容。欢迎大家指正。#!python#-*-coding:utf-8-*-#时间:20220812#作者:ColoFly#转载请注......