100.一个批量爬取微博数据的神器
分享一个能批量下载微博图片/视频/评论的工具
起因
偶尔玩玩微博,最近看到了一名专业的 coser,因此想要下载一些她的微博,方便观看,也避免以后平台倒闭/博主退坑的情况导致无法看原微博。
专业 coser:鲨鱼 SAME
项目介绍
然后我在 GitHub 上搜了下,发现一个高赞项目:weibo-crawler,新浪微博爬虫。
项目地址:https://github.com/dataabc/weibo-crawler
简单摘录下项目的文档:
连续爬取一个或多个新浪微博用户(如迪丽热巴、郭碧婷)的数据,并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。
具体的写入文件类型如下:
- 写入 csv 文件、写入 json 文件、MySQL 数据库、MongoDB 数据库、SQLite 数据库
- 下载用户原创和转发微博中的原始图片、视频、Live Photo 中的视频、一级评论
还可以通过自动化,定期增量爬取新微博,非常方便。
实践
实操起来也很简单,官方文档写的非常详细,字数都上万了,配图也很丰富,我这里就简单说明下,其实就三步:
- 首先,该项目基于 Python,因此得安装 Python(具体步骤就不展开了,网上很多教程)。
- 然后,填写好要爬取的微博用户信息(例如用户 ID,Cookie)
- 运行项目:
python weibo.py
具体操作文档请看官方文档了,我会在下一篇博客转载它,方便国内的读者查看(想看最新版还是建议去官网看)
效果
将所有图片、视频等数据分别存储,并且都是原始文件(高清),文件名也已经重命名好了:
如果有下载失败的情况,会将情况写在 not_downloaded.txt 里(若图片全部下载成功则不会生成该文件),非常贴心。
——完——
标签:神器,weibo,写入,用户,爬取,微博,文档 From: https://www.cnblogs.com/PeterJXL/p/18387925