首页 > 其他分享 >YOLOv9改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题

YOLOv9改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题

时间:2024-08-28 17:57:33浏览次数:12  
标签:Loss loss self 样本 Slide IoU

一、本文介绍

本文记录的是改进YOLOv9的损失函数,将其替换成Slide Loss,并详细说明了优化原因,注意事项等。Slide Loss函数可以有效地解决样本不平衡问题,为困难样本赋予更高的权重,使模型在训练过程中更加关注困难样本。若是在自己的数据集中发现容易样本的数量非常大,而困难样本相对稀疏,可尝试使用Slide Loss来提高模型在处理复杂样本时的性能。

文章目录


二、Slide Loss原理

2.1 IoU含义

IoU(P, G) = area(P∩G) / area(G),其中P是预测框,G是真实框(ground truth)。IoU的值在[0, 1]之间。

IoU是预测框与真实框的交集面积与并集面积之比。它用于衡量预测框与真实框的重合程度。

2.2 原理

  1. 样本分类依据
    • Slide Loss函数基于预测框和真实框的IoU大小来区分容易样本和困难样本。
    • 为了减少超参数,将所有边界框的IoU值的平均值作为阈值µ,小于µ的被视为负样本,大于µ的为正样本。
  2. 强调边界样本
    • 但处于边界附近的样本由于分类不明确,往往会遭受较大损失。为了解决这个问题,希望模型能够学习优化这些样本,并更充分地利用这些样本训练网络。
    • 首先将样本通过参数µ分为正样本和负样本,然后通过一个加权函数Slide来强调处于边界的样本。
    • Slide加权函数表达式为:
      f ( x ) = { 1 x ≤ μ − 0.1 e 1 − μ μ < x < μ − 0.1 e 1 − x x ≥ u f(x)= \begin{cases} 1&x\leq\mu - 0.1\\ e^{1-\mu}&\mu < x <\mu - 0.1\\ e^{1 - x}&x\geq u \end{cases} f(x)=⎩ ⎧​1e1−μe1−x​x≤μ−0.1μ<x<μ−0.1x≥u​

在这里插入图片描述

2.2 优势

  1. 解决样本不平衡问题
    • 在大多数情况下,容易样本的数量非常大,而困难样本相对稀疏,Slide Loss函数可以有效地解决样本不平衡问题,使模型在训练过程中更加关注困难样本。
  2. 自适应学习阈值
    • 通过自动计算所有边界框的IoU值的平均值作为阈值µ,减少了人为设置超参数的难度,提高了模型的适应性。
  3. 提高模型性能
    • 根据论文实验结果,Slide函数在中等难度和困难子集上提高了模型的性能,使模型能够更好地学习困难样本的特征,提高了模型的泛化能力。

论文:https://arxiv.org/pdf/2208.02019
源码:https://github.com/Krasjet-Yu/YOLO-FaceV2/blob/d9c8f24d5dba392ef9d6b350a7c50b850051b32b/utils/loss.py#L16


三、Slide Loss的实现代码

Slide Loss的实现代码如下:

import math
class SlideLoss(nn.Module):
    def __init__(self, loss_fcn):
        super(SlideLoss, self).__init__()
        self.loss_fcn = loss_fcn
        self.reduction = loss_fcn.reduction
        self.loss_fcn.reduction = 'none'  # required to apply SL to each element
 
    def forward(self, pred, true, auto_iou=0.5):
        loss = self.loss_fcn(pred, true)
        if auto_iou < 0.2:
            auto_iou = 0.2
        b1 = true <= auto_iou - 0.1
        a1 = 1.0
        b2 = (true > (auto_iou - 0.1)) & (true < auto_iou)
        a2 = math.exp(1.0 - auto_iou)
        b3 = true >= auto_iou
        a3 = torch.exp(-(true - 1.0))
        modulating_weight = a1 * b1 + a2 * b2 + a3 * b3
        loss *= modulating_weight
        if self.reduction == 'mean':
            return loss.mean()
        elif self.reduction == 'sum':
            return loss.sum()
        else:  # 'none'
            return loss

四、添加步骤

4.1 修改utils/loss_tal_dual.py

此处需要修改的文件是utils/loss_tal_dual.py

loss_tal_dual.py中定义了模型的损失函数和计算方法,我们想要加入新的损失函数就只需要将代码放到这个文件内即可。

Slide Loss添加后如下:

在这里插入图片描述

4.2 Slide Loss的调用

loss_tal_dual.py149行出添加如下代码,使模型调用此Slide Loss函数

BCEcls = SlideLoss(BCEcls)

在这里插入图片描述
此时再次训练模型便会使用Slide Loss计算模型的损失函数。

标签:Loss,loss,self,样本,Slide,IoU
From: https://blog.csdn.net/qq_42591591/article/details/141499359

相关文章

  • CrossEntropy Loss 计算实例讲解
    CrossEntropyLoss整个计算过程前提条件:分类标签labels和模型输出结果outputs=model(inputs)outputs为一个未经过softmax的logits向量......
  • 【pytorch深度学习——小样本学习策略】网格搜索和遗传算法混合优化支持向量机的小样
    最近需要根据心率血氧数据来预测疲劳度,但是由于心率血氧开源数据量较少,所以在训练模型时面临着样本数量小的问题,需要对疲劳程度进行多分类,属于小样本,高维度问题。在有限样本的条件之下,必须要需要选择合适的深度学习算法同时满足模型的泛化能力和学习精度。其次,由于小样本学习的......
  • 《AI办公类工具PPT系列之二——iSlide AI》
    一.简介官网:iSlide-让PPT设计简单起来|PPT模板下载平台iSlideAI是一款基于人工智能技术的PPT制作工具,它可以帮助用户快速高效地创建演示文稿二.功能介绍1.AI一键生成PPT文档导入与解析:用户可以直接上传本地文档(如Word、Markdown、思维导图等),iSlideAI将自动解析和梳......
  • Focal Loss详解及其pytorch实现
    FocalLoss详解及其pytorch实现文章目录FocalLoss详解及其pytorch实现引言二分类与多分类的交叉熵损失函数二分类交叉熵损失多分类交叉熵损失FocalLoss基础概念关键点理解什么是难分类样本和易分类样本?超参数......
  • Kolmogorov-Smirnov 检验 + k 样本 Anderson-Darling 检验 + 贝叶斯估计 + 期望方差
    KS检验是基于Kolmogorovdistribution,指的是\[K=\sup_{t\in[0,1]}\left\lvertB(t)\right\rvert\]式中\(B(t)\)是布朗桥。\(K\)的累积分布函数是\[\Pr(K\lex)=1-2\sum_{k=1}^\infty(-1)^{k-1}\mathrme^{-2k^2x^2}=\frac{\sqrt{2\pi}}x\sum_{k=1}^\infty\mathrme^......
  • 宏基因组实战之:样本组装
    紧接上文,质控去除宿主(土壤样本不需要去宿主)后下一步对样本序列进行组装。1、组装工具宏基因组学中常用序列组装工具不少,如SOAPdenovo2、megagit,spades、metaSPAdes、MOCAT2、IDBA-UD等各有优劣,下面两个软件是分析过程中比较常用的。spades:https://github.com/ablab/spadesm......
  • Skeleton Recall Loss 分割领域的新突破:极大的减少了资源消耗,还能提高性能
    精确分割在当今众多领域都是一项关键需求比如说自动驾驶汽车的训练、医学图像识别系统,以及通过卫星图像进行监测。在许多其他领域,当感兴趣的对象微小但至关重要时,例如研究血管流动、手术规划、检测建筑结构中的裂缝或优化路线规划,需要更高的精度。此前已经做了大量工作来解决这种......
  • Kolmogorov-Smirnov 检验 + k 样本 Anderson-Darling 检验 + 贝叶斯估计 + 期望/方差
    KS检验是基于Kolmogorovdistribution,指的是\[K=\sup_{t\in[0,1]}\left\lvertB(t)\right\rvert\]式中\(B(t)\)是布朗桥。\(K\)的累积分布函数是\[\Pr(K\lex)=1-2\sum_{k=1}^\infty(-1)^{k-1}\mathrme^{-2k^2x^2}=\frac{\sqrt{2\pi}}x\sum_{k=1}^\infty\mathrme^......
  • 人工智能深度学习系列—深入探索IoU Loss及其变种:目标检测与分割的精度优化利器
    人工智能深度学习系列—深度解析:交叉熵损失(Cross-EntropyLoss)在分类问题中的应用人工智能深度学习系列—深入解析:均方误差损失(MSELoss)在深度学习中的应用与实践人工智能深度学习系列—深入探索KL散度:度量概率分布差异的关键工具人工智能深度学习系列—探索余弦相似度损......
  • 【Python&RS】基于矢量点读取遥感影像波段值&制作训练样本
    ​    在进行遥感定量反演或数据分析时,往往我们都具有矢量的真值,可能是点文件也可能是面文件,最重要的还是通过这个矢量获取影像中该区域的值,这样方便做波段分析以及后续的反演等流程。今天给大家分享一下如何通过点文件获取影像的波段值。原创作者:RS迷途小书童博客......