results2 = model.train(  
        data=data_path,
        device='0', 
        workers=workers, 
        imgsz=640,  
        epochs=120,  
        batch=batch,  
        name='train_v8_' + data_name  
    )

        在深入研究YOLOv8模型的性能时，训练和验证损失的趋势以及模型的精确度和召回率提供了关键指标。在模型的训练过程中，损失函数的降低是我们监测模型学习进步的主要指标。观察到的训练边框损失（train/box_loss）呈现出一致的下降趋势，最终稳定在一个较低的水平，这表明模型在定位目标方面的能力得到了显著提升。对于分类损失（train/cls_loss），我们同样看到了一个下降的趋势，这意味着模型在区分不同类别方面的能力随着训练的进行在不断增强。。

        在性能指标方面，精确度（metrics/precision(B)）的提升表明模型在预测正类别时越来越准确，而召回率（metrics/recall(B)）的波动则表明模型在不断尝试平衡漏检与误检之间的关系。理想情况下，我们希望看到精确度和召回率都能稳定地提升，但在实际应用中，二者往往需要通过调整阈值来进行权衡。平均精确度均值（mAP）是一个综合性能指标，它考虑了检测阈值的变化。在我们的情况下，[email protected]（metrics/[email protected](B)）和[email protected]:0.95（metrics/[email protected]:0.95(B)）都随训练周期增加而稳步提升，这表明模型的整体性能在逐步提高。尤其是[email protected]:0.95的上升趋势表明模型在更严格的评估条件下表现良好，这是模型细粒度识别能力提高的一个良好迹象。

        下图为博主训练人脸表情检测的F1曲线图。F1分数也是一个关键指标，它综合考虑了模型的精确度和召回率，为我们提供了一个衡量模型性能的单一指标。从提供的F1-Confidence曲线图中，我们可以看到不同情绪类别的F1分数随置信度阈值的变化情况。整体上，曲线图揭示了模型对于不同情绪识别任务的性能，其中'Happy'和'Fear'的F1分数较高，显示出模型对这些表情的识别相对较好。相反，'Anger'和'Disgust'的F1分数较低，指出模型在这些类别上的识别性能有待提高。

         以F1-curve为例，可以看到我们的模型在验证集上的均值平均准确率为0.191。从图表中可以观察到，随着置信度阈值的增加，大多数类别的F1分数先是上升然后逐渐下降。F1分数在某个点达到峰值，这表示了模型对于一个特定置信度阈值下的最佳综合性能。这个峰值对于选择模型操作点是非常重要的，因为它影响模型在实际应用中的表现。例如，图中显示所有类别的F1分数在置信度约为0.191时达到了0.48的峰值。这个数值可以被视为模型性能的一个基准，我们可以通过调整置信度阈值来优化模型的整体性能。

         此外，不同的情绪类别之间F1分数的差异可能与训练数据的质量、类别间困难度的不同或是模型对特定特征的学习能力有关。例如，'Happy'和'Surprise'表情可能具有更明显的区分特征，如大的眼睛张开或明显的微笑，这使得模型更容易识别。而'Anger'和'Disgust'可能由于表情细微或与其他情绪相混淆而难以正确识别。一方面，我们可以通过收集更多的'Anger'和'Disgust'表情的数据或是提供更多的特征学习机会来增强模型在这些较弱的类别上的性能。另一方面，通过调整置信度阈值，我们可以优化模型的整体表现。在实际应用中，我们可能需要在保持高召回率（即尽量少错过表情）和高精确度（即尽量减少错误识别）之间找到一个平衡点。

4.3 YOLOv5、YOLOv6、YOLOv7和YOLOv8对比

（1）实验设计：
        本实验旨在评估和比较YOLOv5、YOLOv6、YOLOv7和YOLOv8几种模型在人脸表情目标检测任务上的性能。为了实现这一目标，博主分别使用使用相同的数据集训练和测试了这四个模型，从而可以进行直接的性能比较。该数据集包含人脸表情的图像。本文将比较分析四种模型，旨在揭示每种模型的优缺点，探讨它们在工业环境中实际应用的场景选择。

（2）度量指标：

• F1-Score：F1-Score是精确率（Precision）和召回率（Recall）的调和平均值。精确率是指模型正确识别的正例与所有识别为正例的案例之比，而召回率是指模型正确识别的正例与所有实际正例之比。F1-Score对于不平衡的数据集或者需要同时考虑精确率和召回率的任务特别重要。
• mAP（Mean Average Precision）：mAP是衡量模型在多个类别上平均检测准确度的指标。它计算了模型在所有类别上的平均精度，是目标检测领域中常用的性能度量。

（1）导入必要的模块和配置
        首先，需要引入一些必要的库，包括图像处理库OpenCV、图形界面库QtFusion和PySide6，以及物体检测模型库YOLOv8Model等。

import random  # 用于生成随机颜色
import sys  # 用于访问Python解释器相关的功能
import time  # 用于记录操作所需的时间
from QtFusion.config import QF_Config
import cv2  # OpenCV库，用于图像处理
from QtFusion.widgets import QMainWindow  # 用于创建GUI窗口
from QtFusion.utils import cv_imread, drawRectBox  # 辅助函数，用于图像读取和绘制
from PySide6 import QtWidgets, QtCore  # 构建图形用户界面
from QtFusion.path import abs_path
from YOLOv8Model import YOLOv8Detector  # YOLOv8模型，用于目标检测
QF_Config.set_verbose(False)

        这一部分主要负责导入各种模块。random用于随机颜色生成，sys和time分别用于系统操作和时间处理。cv2是图像处理的核心，而QtFusion和PySide6则用于构建用户界面。YOLOv8Detector是进行目标检测的关键类。

（2）定义类别和模型
        在这里，cls_name定义了要识别的人脸表情类型。colors为每种类型生成随机颜色，用于检测结果的可视化。model是我们的YOLOv8检测器，用于加载并运行目标检测模型。

cls_name = ["愤怒", "轻蔑", "厌恶", "恐惧", "快乐", "中性", "悲伤", "惊讶"]  # 定义类名列表
colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(cls_name))]  # 为每个目标类别生成一个随机颜色
model = YOLOv8Detector()  # 创建YOLOv8Detector对象
model.load_model(abs_path("weights/emotion-yolov8n.pt", path_type="current"))  # 加载预训练的YOLOv8模型

（3）创建主窗口
        MainWindow类继承自QMainWindow，用于创建GUI窗口。在构造函数中，我们设置窗口大小并创建一个标签来显示图像。keyPressEvent方法允许用户通过按下“Q”键来关闭窗口。

class MainWindow(QMainWindow):  # 自定义主窗口类
    def __init__(self):  # 构造函数
        super().__init__()  # 调用父类构造函数
        self.resize(850, 500)  # 设置窗口大小
        self.label = QtWidgets.QLabel(self)  # 创建标签用于显示图像
        self.label.setGeometry(0, 0, 850, 500)  # 设置标签位置和大小

    def keyPressEvent(self, event):  # 键盘事件处理
        if event.key() == QtCore.Qt.Key.Key_Q:  # 按下Q键时
            self.close()  # 关闭窗口

（4）主程序流程

        在主程序中，我们首先初始化Qt应用和主窗口。接着，读取并处理图像，使用YOLOv8模型进行目标检测，并在检测到的目标周围绘制边界框和标签。最后，图像被显示在GUI窗口中。

if __name__ == '__main__':
    app = QtWidgets.QApplication(sys.argv)  # 初始化Qt应用
    window = MainWindow()  # 创建主窗口实例

    img_path = abs_path(("test_media/test.png")  # 定义图像路径
    image = cv_imread(img_path)  # 读取图像
    image = cv2.resize(image, (850, 500))  # 调整图像大小以适应窗口
    pre_img = model.preprocess(image)  # 图像预处理

    t1 = time.time()  # 记录开始时间
    pred, superimposed_img = model.predict(pre_img)  # 进行目标检测
    t2 = time.time()  # 记录结束时间
    print("推理时间: %.2f" % (t2 - t1))  # 打印推理时间

    det = pred[0]  # 获取检测结果
    if det is not None and len(det):
        det_info = model.postprocess(pred)  # 后处理
        for info in det_info:  # 遍历检测到的每个对象
            name, bbox, conf, cls_id = info['class_name'], info['bbox'], info['score'], info['class_id']
            label = '%s %.0f%%' % (name, conf * 100)  # 生成标签
            image = drawRectBox(image, bbox, alpha=0.2, addText=label, color=colors[cls_id])  # 绘制边界框和标签

    window.dispImage(window.label, image)  # 在窗口中显示图像
    window.show()  # 显示窗口
    sys.exit(app.exec())  # 启动事件循环

        在此，"emotion-yolov8n.pt"是经过大量人脸表情图像训练得到的模型权重文件，而model.names则包含了模型中人脸表情类别的名称。这就是实现实时人脸表情识别系统的完整代码，整个过程包括了数据预处理、YOLOv8模型预测、结果后处理和可视化等步骤，结构清晰，逻辑简洁。通过这样的方式，可以实现对摄像头捕获的画面进行实时的人脸表情识别和标注。

---

5. 人脸表情识别系统实现

        在实现一款实时人脸表情检测与识别系统时，采用面向对象的设计思路，依赖Python语言和多种开源库如Pyside6、QtFusion、Pytorch等。其中，重要的MainWindow类是系统的主体，负责提供用户界面来控制输入源、进行人脸表情检测与识别，并展示检测结果。以下将详细介绍其设计思路、架构设计以及整个流程。

5.1 系统设计思路

        MainWindow类的主要目标是提供一个用户友好的交互式人脸表情检测与识别系统。为了实现这个目标，采取了将界面、媒体处理和模型集成在一起的设计思路。通过对象组合的方式，将不同的处理器和模型组织在一起，让每个功能模块都能独立进行，同时，还利用信号和槽机制来进行模块间的交互和数据传递。

（1）架构设计
        在MainWindow类的架构设计中，采用了处理层、界面层、控制层的设计模式。这个系统的设计充分考虑了用户体验和系统性能，通过合理的架构设计和技术选型，实现了一个高效且易于使用的人脸表情检测与识别系统。

• 处理层（Processing Layer）：处理层是系统的核心，它包含了如下关键组件：YOLOv8Detector，这个类是系统的主要检测器，负责调用YOLOv8模型进行实时人脸表情识别；YOLOv5/v6/v7 Model，这些类提供了其他版本的YOLO模型，以供系统选择使用，增加了系统的灵活性和多样性；图像预处理，在图像送入模型前，需要进行一系列的预处理步骤，以确保模型能够接收到格式正确、质量优化的图像数据；NMS（非极大值抑制）等类，用于处理模型输出，消除重复的检测框，确保每个目标只有一个最优的检测结果；frame_process，该函数或方法处理视频流中的每一帧图像，实现连续的表情检测。
• 界面层（UI Layer）：界面层负责与用户直接交互，其主要组件如下：Ui_MainWindow，由Qt Designer工具生成，定义了所有的用户界面元素和布局；Qss美化，使用Qt StyleSheet（Qss）对界面进行美化，提升用户界面的视觉效果；setupUi，初始化用户界面，将所有定义的UI组件放置到MainWindow窗口中；clearUI，在需要的情况下清除或重置用户界面，例如在用户请求新的分析时；控件创建：动态创建用户交互控件，如按钮、滑动条等；QWindowCtrls，包含窗口控制相关的功能，如窗口最小化、关闭等。
• 控制层（Control Layer）：控制层作为界面层和处理层之间的桥梁，协调两者的交互，包括：MainWindow槽函数，处理用户的输入事件，如按钮点击、菜单选择等，并触发相应的处理流程；MediaHandler，处理媒体相关的操作，例如加载视频文件、控制视频播放等；ImageHandler，处理图像相关的操作，例如加载图片、图像缩放、显示检测结果等；slot_init，初始化槽函数，确保界面元素与后端逻辑正确连接；toggle_function，开关特定功能，如启用或禁用某些界面元素，或切换处理流程的状态。

（2）系统流程

        以下是人脸表情识别系统的工作流程详细介绍，这里博主绘制了一张系统逻辑的流程图供大家参考：

1. 用户启动应用程序后，系统会创建MainWindow类的实例。这个实例负责初始化整个应用的界面和相关参数，为用户提供操作的起点。

2. 应用程序提供了一个直观的界面，用户可以通过这个界面选择输入源。输入源可以是摄像头实时捕捉的图像、视频文件或是静态图片。

3. 一旦用户确定了输入源，系统就会调用相关的媒体处理器和方法来处理输入数据。这可能涉及到摄像头的配置、视频文件的读取或图像文件的加载。

4. 当媒体输入源准备就绪后，系统进入连续帧处理的循环，具体流程如下：

   • 预处理阶段：系统对每一帧图像执行预处理，这可能包括图像的缩放、色彩空间转换和归一化等步骤，以满足YOLO模型的输入要求。
   • 检测与识别阶段：预处理后的图像将被送入YOLOv8模型进行人脸表情的检测和识别。模型会输出人脸位置以及相应的表情类别。
   • 界面更新阶段：随着检测结果的产生，界面将实时更新，展示检测框、标注表情类别，并在界面的表格或条形图中展示检测统计数据。
   • 交互操作：用户可以通过界面提供的按钮执行多种操作，例如保存检测结果、查询作者和版本信息，以及通过下拉菜单筛选和分析特定的检测结果。
   • 媒体控制：用户还可以控制媒体的播放状态，如启动或停止摄像头捕捉、视频播放或图像分析。

5.2 登录与账户管理

        本系统还配备了一个基于PySide6和SQLite数据库的用户登录界面，提供了账户注册、密码修改、头像设置、账户注销和重新登录等功能。这些功能为每个用户创建了一个独立的空间，用户可以在其中保存和管理自己的检测结果和设置。

        通过用户界面，用户可以轻松完成账户的注册和登录操作，然后进入主界面进行人脸表情检测。用户还可以在登录界面进行密码修改、头像设置和账户注销等操作。这些功能为用户提供了便利的个性化服务，让用户能够更好地使用人脸表情识别系统。

        通过以上的设计和实现，人脸表情检测系统具备了导入各类深度学习模型，实现多物体识别和检测的能力。主界面中实时显示包括检测框、类别及置信度等信息；支持图片、视频、实时摄像头和批量文件输入，能实时识别并记录。还设计了用户登录界面，提供账户注册、密码修改、头像设置、账户注销和重新登录等功能，满足用户在实时目标检测场景下的需求。

下载链接

    若您想获得博文中涉及的实现完整全部资源文件（包括测试图片、视频，py, UI文件，训练数据集、训练代码、界面代码等），这里已打包上传至博主的面包多平台，见可参考博客与视频，已将所有涉及的文件同时打包到里面，点击即可运行，完整文件截图如下：

完整资源中包含数据集及训练代码，环境配置与界面中文字、图片、logo等的修改方法请见视频，项目完整文件下载请见演示与介绍视频的简介处给出：➷➷➷

演示与介绍视频：https://www.bilibili.com/video/BV18m411S7V8/
YOLOv8/v7/v6/v5项目合集下载：https://mbd.pub/o/bread/mbd-ZZuXmZxr
YOLOv8/v5项目完整资源下载：https://mbd.pub/o/bread/ZZuXmJxw
YOLOv7项目完整资源下载：https://mbd.pub/o/bread/ZZuXmZhu
YOLOv6项目完整资源下载：https://mbd.pub/o/bread/ZZuXl5hq

    在文件夹下的资源显示如下，下面的链接中也给出了Python的离线依赖包，读者可在正确安装Anaconda和Pycharm软件后，复制离线依赖包至项目目录下进行安装，另外有详细安装教程：（1）Pycharm软件安装教程；（2）Anaconda软件安装教程；（3）Python环境配置教程；

离线依赖安装教程：https://www.bilibili.com/video/BV1hv421C7g8/
离线依赖库下载链接：https://pan.baidu.com/s/1y6vqa9CtRmC72SQYPh1ZCg?pwd=33z5 （提取码：33z5）

6. 总结与展望

        在本博客中，我们详细介绍了一个基于YOLOv8模型的人脸表情识别系统，还实验了YOLOv7、YOLOv6、YOLOv5等模型。系统以模块化的方式设计，充分采用了合理的架构设计，带来良好的可维护性和可扩展性。其用户界面友好，能够提供实时的人脸表情检测和识别结果展示，同时支持用户账户管理，以便于保存和管理检测结果和设置。

        该系统支持摄像头、视频、图像和批量文件等多种输入源，能够满足用户在不同场景下的需求。在后面可以添加更多预训练模型，增加检测和识别的种类；优化用户界面，增强个性化设置；并积极聆听用户反馈，以期不断改进系统，以更好地满足用户的需求。

---

结束语

        由于博主能力有限，博文中提及的方法即使经过试验，也难免会有疏漏之处。希望您能热心指出其中的错误，以便下次修改时能以一个更完美更严谨的样子，呈现在大家面前。同时如果有更好的实现方法也请您不吝赐教。

---

1. Huang, ZY., Chiang, CC., Chen, JH. et al. A study on computer vision for facial emotion recognition. Sci Rep 13, 8425 (2023). https://doi.org/10.1038/s41598-023-35446-4 ↩︎

2. Talaat F M, ZainEldin H. An improved fire detection approach based on YOLO-v8 for smart cities[J]. Neural Computing and Applications, 2023, 35(28): 20939-20954. ↩︎

3. Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 7464-7475. ↩︎

4. Li C, Li L, Jiang H, et al. YOLOv6: A single-stage object detection framework for industrial applications[J]. arXiv preprint arXiv:2209.02976, 2022. ↩︎

5. Wu W, Liu H, Li L, et al. Application of local fully Convolutional Neural Network combined with YOLO v5 algorithm in small target detection of remote sensing image[J]. PloS one, 2021, 16(10): e0259283. ↩︎