首页 > 其他分享 >【爬虫软件】2024油管评论采集工具

【爬虫软件】2024油管评论采集工具

时间:2024-06-19 15:53:59浏览次数:23  
标签:视频 油管 爬虫 2024 评论 tk 日志 id

目录

一、背景介绍

我用python开发的GUI软件,作用是爬取油管指定视频的评论,字段含:

评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数

1.1 软件说明

几点重要说明:

  1. 运行之前,先打开魔法
  2. Windows用户可直接双击打开使用,无需Python运行环境
  3. 可爬取指定数量评论,或者全部评论(不存在反爬问题)
  4. 排序方式支持:按日期排序/按热门排序
  5. 可爬取6个字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数
  6. 其中,评论时间含绝对时间(年月日时分秒的格式)

1.2 效果演示

演示视频:见原文

运行截图1:
爬取《Faded》MV视频下的评论

运行截图2:
爬取徐云视频下的评论

二、科普知识

2.1 关于视频id

油管视频id号,比如,https://www.xx.com/watch?v=9lc6D6nPd38 这个视频链接的视频id就是"9lc6D6nPd38"。

2.2 关于评论时间

ytb网页上是看不到绝对时间(年月日时分秒格式)的,只能看到相对时间(几个月前、几天前之类),此软件支持爬取绝对时间。

三、爬虫代码

3.1 界面模块

软件界面采用tkinter开发。

主窗口部分:

# 创建主窗口
root = tk.Tk()
root.title('ytb评论爬虫 | 马哥python说')
# 设置窗口大小
root.minsize(width=850, height=650)
show_list_Frame = tk.Frame(width=800, height=350)  # 创建<消息列表分区>
show_list_Frame.pack_propagate(0)
show_list_Frame.place(x=30, y=180, anchor='nw')  # 摆放位置
# 滚动条
scroll = tk.Scrollbar(show_list_Frame)
# 放到Y轴竖直方向
scroll.pack(side=tk.RIGHT, fill=tk.Y)

按钮控件部分:

# 界面设计
# 视频id
tk.Label(root, text='视频id:').place(x=30, y=50)
video_id = tk.StringVar()
video_id.set('')
entry = tk.Entry(root, bg='#ffffff', width=20, textvariable=video_id)
entry.place(x=160, y=50, anchor='nw')  # 摆放位置

3.2 爬虫模块

通过请求评论的ajax接口实现,详见文末完整代码。

3.3 日志模块

好的日志功能,方便软件运行出问题后快速定位原因,修复bug。
核心代码:

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日志格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日志级别
	self.logger.setLevel(logging.DEBUG)
	# 控制台日志
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日志文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

日志截图:
日志文件

四、转载声明

转载已获原作者@马哥python说 授权:

博客园原文链接: 【爬虫GUI】YouTube评论采集软件,突破反爬,可无限爬取!

标签:视频,油管,爬虫,2024,评论,tk,日志,id
From: https://www.cnblogs.com/ws235/p/18256427

相关文章

  • 华为OD机试真题-冠亚军排名,奖牌榜排名-2024年OD统一考试(官方D卷原题)
    介绍2024年OD统一考试(D卷),最新题库。5-11月份考试都是从本专栏中抽题,命中率百分之95。多语言解法,在线练习机试是在牛客考试,练习的时候也可以在牛客网练习,提前熟悉操作https://ac.nowcoder.com/acm/contest/5652/K点击上方链接进入牛客练习界面,可以自定义题目,自定义输入......
  • 华为OD机试真题-猴子爬山-2024年OD统一考试(官方D卷原题)
    介绍2024年OD统一考试(D卷),最新题库。5-11月份考试都是从本专栏中抽题,命中率百分之95。多语言解法,在线练习机试是在牛客考试,练习的时候也可以在牛客网练习,提前熟悉操作https://ac.nowcoder.com/acm/contest/5652/K点击上方链接进入牛客练习界面,可以自定义题目,自定义输入......
  • 华为OD机试真题-滑动窗口最大和-2024年OD统一考试(官方D卷原题)
    介绍2024年OD统一考试(D卷),最新题库。5-11月份考试都是从本专栏中抽题,命中率百分之95。多语言解法,在线练习机试是在牛客考试,练习的时候也可以在牛客网练习,提前熟悉操作https://ac.nowcoder.com/acm/contest/5652/K点击上方链接进入牛客练习界面,可以自定义题目,自定义输入......
  • 【EI核心、Scopus 】第四届计算机、遥感与航空航天国际学术会议(CRSA 2024)
    【EI核心、Scopus】第四届计算机、遥感与航空航天国际学术会议(CRSA2024)将于2024年7月5-7日在日本大阪举行。计算机、遥感与航空航天国际学术会议为来自世界各地的研究学者、工程师、学会会员以及相关领域的专家们提供一个关于“计算机科学”、“遥感技术与应用”与“航空航......
  • 华为OD机试真题-灰度图存储-2024年OD统一考试(官方D卷原题)
    介绍2024年OD统一考试(D卷),最新题库。5-11月份考试都是从本专栏中抽题,命中率百分之95。多语言解法,在线练习机试是在牛客考试,练习的时候也可以在牛客网练习,提前熟悉操作https://ac.nowcoder.com/acm/contest/5652/K点击上方链接进入牛客练习界面,可以自定义题目,自定义输入......
  • PhotoZoom Pro下载2024官方最新版-photozoom pro 8_图像无损放大软件_2024最新版下载
    PhotoZoompro8苹果版是一款功能强大的图片编辑软件,可以让用户在不影响图片清晰度的情况下对图片进行放大或者缩小,非常适合网友需要大图而手边的图片清晰度不够的时候使用,这款软件通过智能算法让你的小图片在放大之后也不会失真,并且支持批量更改,大幅提升用户的编辑效率。安......
  • 2024年语言、创新教育与文化传播国际会议(LIECC 2024)
    2024年语言、创新教育与文化传播国际会议(LIECC2024)2024InternationalConferenceonLanguage,InnovationEducation,andCulturalCommunication【重要信息】大会地点:南京大会官网:http://www.icliecc.com投稿邮箱:[email protected]【注意:将稿件Word+PDF上传至邮......
  • 力扣2713 2024.6.19
    原题网址:此处为链接个人难度评价:1700分析:DP顺序很重要,从大数递推到小数保证了不会每次都是最优子结构而不会有后效性。开了个map来方便二分大于当前数的最小数,状态转移方程显然,记h[x]与l[y]表示第x行小于当前值的最优和第y列小于当前值的最优:dp[x][y]=max(f[x],l[y])注意......
  • 项目管理软件大对比:2024年10款最佳项目管理工具
    一、禅道项目管理软件1.禅道禅道(ZenTao)是一款开源的项目管理软件,专门为敏捷开发和团队协作而设计。它提供了全面的项目管理功能,包括需求管理、任务管理、缺陷跟踪、测试管理、文档管理等,旨在帮助团队高效地进行项目规划、执行和交付。禅道目前可以提供全生命周期的项目管理解决......
  • CorelDraw 2024软件安装包下载 丨不限速下载丨亲测好用
    ​简介:CorelDRAWGraphicsSuite订阅版拥有配备齐全的专业设计工具包,可以通过非常高的效率提供令人惊艳的矢量插图、布局、照片编辑和排版项目。价格实惠的订阅就能获得令人难以置信的持续价值,即时、有保障地获得独家的新功能和内容、一流的性能,以及对最新技术的支持。获得......