简单的用Python来获取微博评论,制作词云图。
首先准备环境模块
环境使用
- Python 3.8或以上版本即可
- Pycharm 任意版本
模块使用
import requests import wordcloud import jieba
以上三个模块都需要安装,直接pip install 加上模块名安装即可。
爬虫基本流程
一. 数据来源分析
- 明确需求: 明确采集的网站以及数据内容
- 网址: https://weibo.com/2803301701/NxcPMvW2l
- 数据: 评论内容 - 抓包分析: 通过开发者工具进行抓包
- 打开开发者工具: F12
- 刷新网页
- 通过关键字查找对应的数据
关键字: 评论的内容
数据包地址: https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4979141627611265&is_show_bulletin=2&is_mix=0&count=10&uid=2803301701&fetch_level=0&locale=zh-CN
二. 代码实现步骤
- 发送请求 -> 模拟浏览器对于url地址发送请求
- 获取数据 -> 获取服务器返回响应数据
- 解析数据 -> 提取评论内容
- 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)
代码展示
数据采集部分
1、发送请求 -> 模拟浏览器对于url地址发送请求
# 模拟浏览器 headers = { # Referer 防盗链 'Referer':'https://weibo.com/2803301701/NxcPMvW2l', # User-Agent 用户代理 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36' } # 请求网址 url = 'https://weibo.com/ajax/statuses/buildComments' # 请求参数 data = { 'is_reload': '1', 'id': '4979141627611265', 'is_show_bulletin': '2', 'is_mix': '0', 'max_id': max_id, 'uid': '2803301701', 'fetch_level': '0', 'locale': 'zh-CN', } # 发送请求 response = requests.get(url=url, params=data, headers=headers)
2、获取数据 -> 获取服务器返回响应数据
json_data = response.json() print(json_data)
3、解析数据 -> 提取评论内容
# 提取评论所在列表 content_list = json_data['data'] # for循环遍历, 提取列表里面元素 for index in content_list: content = index['text_raw'] print(content)
4、保存数据
保存文本
with open('data.txt', mode='a', encoding='utf-8') as f: f.write(content) f.write('\n') print(content)
保存表格
with open('data.txt', mode='a', encoding='utf-8') as f: f.write(content) f.write('\n') print(content) df = pd.DataFrame(lis) df.to_excel(excel_writer:'data.xlsx', index=False) # 数据采集和可视化我还录制了详细的视频讲解 # 跟代码一起打包好放在这个抠裙了 708525271
可视化部分
# 导入结巴分词 import jieba # 导入词云图模块 import wordcloud """词云分析""" # 读取文件内容 f = open('data.txt', encoding='utf-8').read() # 分词 txt = jieba.lcut(f) # 把列表合并成字符串 string = ' '.join(txt) # 制作词云图配置 wc = wordcloud.WordCloud( font_path='msyh.ttc', width=1000, # 宽 height=700, # 高 background_color='white', # 背景颜色 默认黑色 ) # 导入内容 wc.generate(string) wc.to_file('词云_3.png') print(txt)
词云图效果展示
好了,本次分享就结束了,下次再见!