首页 > 编程语言 >【easy52pojie】一款方便看吾爱论坛帖子的爬虫程序

【easy52pojie】一款方便看吾爱论坛帖子的爬虫程序

时间:2024-03-13 19:11:57浏览次数:28  
标签:easy52pojie 吾爱 爬虫 帖子 回复 论坛

【easy52pojie】一款方便看吾爱论坛帖子的爬虫程序

众所周知吾爱论坛一页最多显示十来条回帖,且间隔很大,每页的信息密度太低了。在帖子很庞大的情况下,一页一页翻页,着实有点痛苦。

故简单敲敲代码,使用request xpath技术做了一个论坛帖子回复查看器,名称为easy52pojie,运行代码即可导出该帖子的全部回复,有回复人昵称、回复时间、回帖内容等。

使用说明:

1、在main函数里填入帖子url;

2、在main函数里填入自己的cookie;

3、运行代码。

源码地址:https://wwi.lanzoup.com/id6801rapcyf

喜欢请记得回复~

标签:easy52pojie,吾爱,爬虫,帖子,回复,论坛
From: https://www.cnblogs.com/WeiRonbbin/p/18071337

相关文章

  • Python爬虫之urllib
    urllib1.1urllib基本使用#使用urllib来访问百度首页的源码importurllib.request#1.定义一个url,就是你要访问的地址url='http://www.baidu.com'#2.模拟浏览器向服务器发送请求response=urllib.request.urlopen(url)#3.获取响应中的页面的源码content=r......
  • Python 爬虫零基础教程(1):爬单个图片
    代码:importrequestsurl='https://cdn.pixabay.com/photo/2018/01/04/07/59/salt-3060093_960_720.jpg'data=requests.get(url).contentf=open('1.jpg','wb')f.write(data)f.close()print('OK')解释代码变量代码中的ur......
  • Python爬虫实战系列1:博客园cnblogs热门新闻采集
    实战案例:博客园热门新闻采集一、分析页面打开博客园网址https://www.cnblogs.com/,点击【新闻】再点击【本周】本次采集,我们以页面新闻标题为案例来采集。这里可以看到标题“李彦宏:以后不会存在“程序员”这种职业了”。1.1、分析请求F12打开开发者模式,然后点击Network后点......
  • Selenium爬虫实践之爬取携程网北京旅游景点数据
    昨天我发布了一篇名为Selenium在爬虫中的应用的文章,今天补充一下Selenium爬虫实践,话不多说直接上代码。1.导包首先导入所需要的库:importhtmlimporttimefromlxmlimporthtmlfromseleniumimportwebdriverfromselenium.webdriver.common.byimportBy 2.获取浏览......
  • python爬虫scrapy之如何同时执行多个scrapy爬行任务
    来源:https://www.shanhubei.com/archives/23601.html1、顺序执行:fromscrapy.cmdlineimportexecuteexecute(['scrapy','crawl','httpbin'])2、同时进行setting=get_project_settings()process=CrawlerProcess(setting)didntWo......
  • Python爬虫学习记录1—Python基础知识
    1.type()函数:用于查看变量的数据类型print(type(a),a)2.input()函数:输入内容用户的交互程序如果没有结束,则需要输入内容注意:input接受的所有数据都是字符串,字符串如果想变成其他数据类型则需要转化3.ifPython用缩进代替判断括号缩进:捆绑同一层级别的代码,简称代码块if单分......
  • 爬虫程序的实现
    0.学习爬虫的入门看的第一个视频就是手把手的讲解怎么写爬虫程序,对小白非常的友好,强烈推荐。(写新的程序就是照葫芦画瓢)【Python+爬虫】爆肝两个月!拜托三连了!这绝对是全B站最用心(没有之一)的Python+爬虫公开课程,从入门到(不)入狱!_哔哩哔哩_bilibili1.插件所有的爬虫程序都要用到......
  • 爬虫进阶new
    1.处理cookie为什么要处理cookie?保存客户端的相关状态在请求中携带cookie,在爬虫中如果遇到了cookie的反爬如何处理?#手动处理在抓包工具中捕获cookie,将其封装在headers中#自动处理使用session机制使用场景:动态变化的cookiesession对象:该对象和requests模块用法......
  • pyqt5中多线程爬虫
       设立爬虫Class,继承pyqt5中的Thread函数中使用普通线程  整体代码:importsysimportpandasaspdimportjson,requests,time,threadingfromPyQt5.QtWidgetsimportQMainWindow,QApplication,QVBoxLayout,QMessageBoxfromui.ui_testimportUi_MainWind......
  • 我的闲鱼Python爬虫接单总结和经验,最高600元一单
    最近,我在闲鱼上利用Python爬虫技术接了一些任务,想必你一定好奇,通过这样的方式,到底能不能挣钱,能挣多少钱?今天我就来分享一下我的经验和总结。一、接单经历之前Vue的作者尤大在微博上说被动收入是最能带来自由的东西,这个时代的程序员其实在创造被动收入上有天然优势,然而大......