综合设计——多源异构数据采集与融合应用综合实践

基本信息

码云链接

gitee文件夹

项目整体介绍：

项目名称：多模态情感分析系统

项目背景：在当前的数字化时代，情感分析在各种应用中变得越来越重要，如客户服务、市场分析和社交媒体监控。多模态情感分析能够提供比单一模态更丰富、更准确的情感识别和分析。

项目目标：开发一个多模态情感分析系统，能够处理和分析文本、图片、音频和视频数据，从而提供综合的情感分析结果。

技术路线：

• 前端开发：

  • 使用HTML、CSS和JavaScript进行界面设计，实现用户与系统的交互。

  • 通过用户给出的bv号进行查询

• 后端开发：

  • 使用Python进行后端逻辑的编写。

  • 利用Flask搭建简易后端框架。

• 数据处理与分析：

  • 文本分析：调用华为云NLP情感分析API。

  • 视频分析

    • 提取视频中的音频部分。
    • 对提取的音频进行分析，使用同音频分析的方法。

  • 音频分析

    • 使用openai开源的whisper进行音频分析。
    • 对上传的音频文件进行特征提取和情感识别。

• 结果输出与展示：将分析结果通过前端界面展示。

最终效果：

通过在本地上传文件进行分析并且得到结果

个人分工

在这次的实践中我和吕铭讯同学负责编写后端代码，实现了一个基于Flask框架的web API，这个API主要功能是调用小组成员的编写好各个函数代码，接收POST请求，从请求中获取bilibili视频的bv号，然后爬取该视频的弹幕、评论、封面和视频文本，对这些数据进行自然语言处理（NLP）和情感分析，并返回处理结果，实现与前端的对接。
部分代码：

from flask import Flask, request, jsonify
from getdm import Crawler_Bilibili_Danmu
from hwNLP_ljx import HW_NLP
from hwNLP_ljx import SentimentAnalysis
from t import get_comment,get_cover
from getvideo import get_bilibili_video
app = Flask(__name__)
@app.route('/api/', methods=['POST'])
def dm():
    c = Crawler_Bilibili_Danmu()
    data = request.get_json()
    bv = data.get('bv')
    if bv is not None:
        dm = c.search_dm_from_bv(bv)#弹幕
        comment =  get_comment(bv)#评论
        cover = get_cover(bv)#封面
        video_text = get_bilibili_video(bv)
        nlp = HW_NLP()
        r = nlp.nlp_fromList(dm) # r是弹幕的nlp
        r2 = nlp.nlp_fromList(comment) # r2是评论的nlp
        r3 = nlp.nlp_fromList(video_text) #r3 是音频文本的nlp
        sentiment_analysis = SentimentAnalysis()
        c.reinit()
        return jsonify(dm,c.jiebaRank(),r,sentiment_analysis.analyze_result(r),comment,cover,r2,sentiment_analysis.analyze_result(r2),video_text,r3,sentiment_analysis.analyze_result(r3))
    else:
        return "Invalid request",400
if __name__ == '__main__':
    app.run(debug=True)

部分截图

心得体会

102102114 方赞
和吕铭讯一起做后端开发，是一次收获颇丰的经历。我们两个人相互协作，共同面对挑战，取得了许多成果。在开发过程中，我们始终保持沟通，确保彼此理解需求和目标。我们共同制定计划，分配任务，并确保按时完成。我们注重代码质量和可维护性，编写清晰、简洁的代码。又在一个项目中写好了后端，对后端的理解更深刻了。这次数据采集实践项目让我收获颇丰，通过与吕铭讯的合作，我深刻认识到团队合作、代码质量、测试和调试的重要性。这些经验将对我的职业生涯产生积极的影响，并帮助我在未来的项目中取得更好的成果。