首页 > 编程语言 >简单的用Python采集下微博评论,制作可视化词云图

简单的用Python采集下微博评论,制作可视化词云图

时间:2023-12-27 20:23:25浏览次数:34  
标签:Python 云图 content 微博 可视化 print import txt data

简单的用Python来获取微博评论,制作词云图。

首先准备环境模块

环境使用

  • Python 3.8或以上版本即可
  • Pycharm 任意版本

模块使用

import requests 
import wordcloud 
import jieba  

 

以上三个模块都需要安装,直接pip install 加上模块名安装即可。

爬虫基本流程

一. 数据来源分析

  1. 明确需求: 明确采集的网站以及数据内容
    - 网址: https://weibo.com/2803301701/NxcPMvW2l
    - 数据: 评论内容
  2. 抓包分析: 通过开发者工具进行抓包
    - 打开开发者工具: F12
    - 刷新网页
    - 通过关键字查找对应的数据
    关键字: 评论的内容
    数据包地址: https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4979141627611265&is_show_bulletin=2&is_mix=0&count=10&uid=2803301701&fetch_level=0&locale=zh-CN

二. 代码实现步骤

  1. 发送请求 -> 模拟浏览器对于url地址发送请求
  2. 获取数据 -> 获取服务器返回响应数据
  3. 解析数据 -> 提取评论内容
  4. 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)

代码展示

数据采集部分

1、发送请求 -> 模拟浏览器对于url地址发送请求

# 模拟浏览器
headers = {
    # Referer 防盗链
    'Referer':'https://weibo.com/2803301701/NxcPMvW2l',
    # User-Agent 用户代理
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

# 请求网址
url = 'https://weibo.com/ajax/statuses/buildComments'
# 请求参数
data = {
    'is_reload': '1',
    'id': '4979141627611265',
    'is_show_bulletin': '2',
    'is_mix': '0',
    'max_id': max_id,
    'uid': '2803301701',
    'fetch_level': '0',
    'locale': 'zh-CN',
}
# 发送请求
response = requests.get(url=url, params=data, headers=headers)

 

2、获取数据 -> 获取服务器返回响应数据

json_data = response.json()
print(json_data)

 

3、解析数据 -> 提取评论内容

# 提取评论所在列表
content_list = json_data['data']
# for循环遍历, 提取列表里面元素
for index in content_list:
    content = index['text_raw']
    print(content)

 

4、保存数据

保存文本

with open('data.txt', mode='a', encoding='utf-8') as f:
    f.write(content)
    f.write('\n')
print(content)

 

保存表格

    with open('data.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')
    print(content)

df = pd.DataFrame(lis)
df.to_excel(excel_writer:'data.xlsx', index=False) 
# 数据采集和可视化我还录制了详细的视频讲解 
# 跟代码一起打包好放在这个抠裙了 708525271

 

可视化部分

# 导入结巴分词
import jieba
# 导入词云图模块
import wordcloud
 
"""词云分析"""
# 读取文件内容
f = open('data.txt', encoding='utf-8').read()
# 分词
txt = jieba.lcut(f)
# 把列表合并成字符串
string = ' '.join(txt)
# 制作词云图配置
wc = wordcloud.WordCloud(
    font_path='msyh.ttc',
    width=1000,  # 宽
    height=700, # 高
    background_color='white', # 背景颜色 默认黑色
)
# 导入内容
wc.generate(string)
wc.to_file('词云_3.png')
print(txt)

 

词云图效果展示

 


好了,本次分享就结束了,下次再见!

标签:Python,云图,content,微博,可视化,print,import,txt,data
From: https://www.cnblogs.com/hahaa/p/17931354.html

相关文章

  • Python实战:从数据库到Excel的复杂查询结果处理【中】
    一、前言在上篇中,我已经成功从数据库查询到数据,并根据指定条件将数据写入到excel中,但是写入的数据和我们通过数据库连接工具查询到的结果并不一致,接下来我们就来解决:Python从数据库查询的数据保存到excel中后,数据格式异常的问题二、解决步骤分析现象使用Navicat从数据库查询到的数......
  • python 使用 rsa库进行RSA签名和加解密
     python使用rsa库进行RSA签名和加解密 #-*-coding:UTF-8-*-#!/usr/bin/envpythonimportbase64importrsafromrsaimportcommon#使用rsa库进行RSA签名和加解密classRsaUtil(object):PUBLIC_KEY_PATH='/tmp/gbzj/public_key.pem'#公钥P......
  • 【Python数据分析课程设计】大数据分析—利用k-means 聚类分析对客户细分分析
    一、选题的背景在当今社会,大数据已经成为了企业决策的重要依据。通过对客户进行细分分析,企业可以更好地了解客户的需求和行为,从而制定更加精准的营销策略,提高市场竞争力。要达到的数据分析目标是通过对客户数据的分析,找出不同客户群体的特征和需求,为企业提供有针对性的营销......
  • python生成word文档
    python生成word文档,感觉比java生成方便很多下面看看步骤1、环境pipinstallpython-docx2、准备一张需要插入word中的图片monty-truth.png3、一段代码fromdocximportDocumentfromdocx.sharedimportInchesdocument=Document()document.add_heading('Document......
  • python实现汉诺塔游戏
    highlighter-pythonlt=list()#左边的空列表rt=list()#右边的空列表ct=list()#中间的空列表#初始化函数definit():size=int(input("请输入你要挑战的高度:"))#建立左边的汉诺塔foriinrange(1,size+1):lt.append(i*2-1);......
  • 一个完整Python实战项目:selenium识别验证码实现自动登录,自动操作浏览器获取某东数据
    最近都没啥时间,很久没更新了。今天分享一下,如何用selenium识别验证码,实现自动登录以及获取数据。目标:某东话不多说直接开始准备工作环境Python3.10Pycharm模块使用importrandomimporttimefromseleniumimportwebdriverimportpyautoguii......
  • 【Python&RS】基于Python对栅格数据进行归一化(统一量纲至0~1)
            有段时间没有更新Python处理栅格、矢量数据了,一部分是因为之前基本上已经把如何使用Python处理地理数据的方法覆盖完了,另一部分是因为最近有其他方面的知识需要学习和巩固。也是赶巧,最近有个项目需要构建模型对影像进行反演需要用到归一化,所以就编了一段代码,今......
  • 可视化云监控/安防监控系统EasyCVR视频管理平台播流失败的原因(端口篇)
    安防视频监控EasyCVR平台兼容性强,可支持的接入协议众多,包括国标GB28181、RTSP/Onvif、RTMP,以及厂家的私有协议与SDK,如:海康ehome、海康sdk、大华sdk、宇视sdk、华为sdk、萤石云sdk、乐橙sdk等。平台能将接入的视频流进行汇聚、转码与多格式分发,具体包括:RTMP、RTSP、HTTP-FLV、WebSo......
  • 城市交通的智慧之眼:数据可视化重塑管理新篇章
    城市,这个充满活力的巨大生命体,每一条街道、每一个交叉路口都是它的血管和神经。随着城市化进程的加速,如何高效管理这个复杂的交通网络成为了一个巨大的挑战。幸运的是,在大数据和可视化技术的助力下,城市交通数据可视化正在成为我们驾驭城市脉搏的关键工具。 想象一下,站在一个巨......
  • Python采集html页面时如何去除掉script,link等指定html标签
    python爬虫去除html中特定标签、去除注释、替换实体前言:本文主要讲w3lib库的四个函数html.remove_tags()html.remove_tags_with_content()html.remove_comments()html.remove_entities()remove_tags作用:去除或保留标签,但是仅仅是去除标签,正文部分是不做处理的 看其函数......