综合设计——多源异构数据采集与融合应用综合实践
| 这个项目属于哪个课程 | 2023数据采集与融合技术 |
|---|---|
| 组名、项目简介 | 组名：Double 20000、项目需求：设计出一个交互友好的多源异构数据的采集与融合的小应用 、项目目标：通过在网页中上传文本、图片、视频或音频分析其中的情感 、项目开展技术路线：前端3件套、Python、fastapi |
| 团队成员学号 | 042101414、052101230、102102104、102102105、102102108、102102111、102102157、102102158 |
| 这个项目目标 | 通过在网页中上传文本、图片、视频或音频分析其中的情感 |
| 其他参考文献 | [1]李慧,庞经纬.基于文图音融合的多模态网民情感识别研究[J/OL].数据分析与知识发现:1-17[2023-12-13].http://kns.cnki.net/kcms/detail/10.1478.g2.20231011.1557.012.html. |
项目整体介绍：
项目名称：多模态情感分析系统
项目背景：在当前的数字化时代，情感分析在各种应用中变得越来越重要，如客户服务、市场分析和社交媒体监控。多模态情感分析能够提供比单一模态更丰富、更准确的情感识别和分析。
项目目标：开发一个多模态情感分析系统，能够处理和分析文本、图片、音频和视频数据，从而提供综合的情感分析结果。
技术路线：
-
前端开发：
-
使用HTML、CSS和JavaScript进行界面设计，实现用户与系统的交互。
-
集成文件上传功能，支持文本、图片、音频和视频文件。
-
-
后端开发：
-
使用Python进行后端逻辑的编写。
-
利用FastAPI框架处理前端请求和数据传输。
-
-
数据处理与分析：
-
文本分析：最开始自己训练模型但是后来因为文心一言的准确率更高，因此采用文心一言的接口进行文本情感分析。
（音频、视频、图片找不到接口，因此自己训练模型）
-
音频分析
- 使用RAVDESS数据集进行训练。
- 对上传的音频文件进行特征提取和情感识别。
-
图片分析：
- 使用VGG模型进行图像处理。
- 利用CK+和FER数据集进行情感分类。
-
视频分析（找不到可以训练视频的模型，最后只能通过提取音频进行分析）
- 提取视频中的音频部分。
- 对提取的音频进行分析，使用同音频分析的方法。
-
-
结果输出与展示：将分析结果通过前端界面展示。
最终效果：
通过在本地上传文件进行分析并且得到结果
自己分工：
- 通过华为云平台进行模型训练和ppt制作。连接华为云ModelArts和本地PyCharm的效果是可以在PyCharm中编写和运行代码，同时利用华为云ModelArts的强大计算资源进行模型训练。通过配置PyCharm的Jupyter Notebooks设置，连接到在ModelArts中创建的Notebook环境，实现代码的远程执行。
- 这样可以更方便地在本地环境中进行模型开发和调试，同时利用云端的计算资源进行大规模的模型训练，提高训练效率。