综合设计——多源异构数据采集与融合应用综合实践

​

项目整体介绍：

项目名称：多模态情感分析系统

项目背景：在当前的数字化时代，情感分析在各种应用中变得越来越重要，如客户服务、市场分析和社交媒体监控。多模态情感分析能够提供比单一模态更丰富、更准确的情感识别和分析。

项目目标：开发一个多模态情感分析系统，能够处理和分析文本、图片、音频和视频数据，从而提供综合的情感分析结果。

技术路线：

• 前端开发：

  • 使用HTML、CSS和JavaScript进行界面设计，实现用户与系统的交互。

  • 集成文件上传功能，支持文本、图片、音频和视频文件。

• 后端开发：

  • 使用Python进行后端逻辑的编写。

  • 利用FastAPI框架处理前端请求和数据传输。

• 数据处理与分析：

  • 文本分析：最开始自己训练模型但是后来因为文心一言的准确率更高，因此采用文心一言的接口进行文本情感分析。

    （音频、视频、图片找不到接口，因此自己训练模型）

  • 音频分析

    • 使用RAVDESS数据集进行训练。
    • 对上传的音频文件进行特征提取和情感识别。

  • 图片分析：

    • 使用VGG模型进行图像处理。
    • 利用CK+和FER数据集进行情感分类。

  • 视频分析（找不到可以训练视频的模型，最后只能通过提取音频进行分析）

    • 提取视频中的音频部分。
    • 对提取的音频进行分析，使用同音频分析的方法。

• 结果输出与展示：将分析结果通过前端界面展示。

最终效果：
通过在本地上传文件进行分析并且得到结果

gitee链接

项目链接

个人部分

• 在这个项目中我主要负责前端页面搭建，编写前端代码，大致分为四个部分，主界面、登录注册页面、功能介绍页面和情感分析页面。
• 在这个过程中，我了解了多模态处理的相关流程，学习了怎样与后端API进行交互，以获取和处理多模态数据并且进行结果展示。
• 站在用户的角度编写前端多模态分析的代码，关注用户体验和交互设计，确保用户可以方便、直观地与多模态数据进行交互

下面是前端页面图：

主界面

进入动画

我们的团队名叫double 20000。

团队介绍

这是我们的网站总体介绍和团队总体介绍

这是我们的团队成员介绍

功能体验

这是我们网站的四个功能，并且点击下面开始体验的按钮可以进入情感分析页面

登录注册模块

查看密码

具体功能介绍模块

这是对各个功能的具体介绍，什么是文本情感分析，视频音频情感分析等

情感分析模块

文本

视频

音频

图像

结果展示

心得体会

在这个过程中，我学会了多模态问题处理的大致流程，了解不同模态数据之间的交互方式，并进行了前端代码的编写和测试，过程中也有遇到上传错误，链接错误等问题，但通过搜索相关资料可以得到解决。