首页 > 其他分享 >【YOLOv8改进 - 特征融合NECK】 HS-FPN :用于处理多尺度特征融合的网络结构,降低参数

【YOLOv8改进 - 特征融合NECK】 HS-FPN :用于处理多尺度特征融合的网络结构,降低参数

时间:2024-06-22 10:21:16浏览次数:19  
标签:NECK nn 特征 HS self 融合 白细胞

摘要

在标准的医院血液检测中,传统过程需要医生使用显微镜从患者的血液显微图像中手动分离白细胞。然后,这些分离出的白细胞通过自动白细胞分类器进行分类,以确定血液样本中不同类型白细胞的比例和数量,从而辅助疾病诊断。这种方法不仅耗时费力,而且由于图像质量和环境条件等因素,容易出现错误,从而可能导致后续分类不正确和误诊。现代白细胞检测方法在处理具有较少白细胞特征的图像和不同白细胞规模差异方面存在局限性,导致大多数情况下结果不尽如人意。

为了解决这些问题,本文提出了一种创新的白细胞检测方法:多层次特征融合和可变形自注意力 DETR(MFDS-DETR)。为了解决白细胞规模差异问题,我们设计了高层次筛选特征融合金字塔(HS-FPN),实现多层次融合。该模型使用高层次特征作为权重,通过通道注意力模块过滤低层次特征信息,然后将筛选后的信息与高层次特征融合,从而增强模型的特征表达能力。此外,我们通过在编码器中引入多尺度可变形自注意模块,并在解码器中使用自注意和交叉可变形注意机制,解决了白细胞特征稀缺问题,这有助于提取白细胞特征图的全局特征。

通过与其他尖端白细胞检测模型在私有 WBCDD、公共 LISC 和 BCCD 数据集上的比较,验证了所提出的 MFDS-DETR 方法的有效性、优越性和通用性。我们的源代码和私有 WBCCD 数据集可在以下地址获得:https://github.com/JustlfC03/MFDS-DETR。

YOLO目标检测创新改进与实战案例专栏

专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

文章链接

论文地址:论文地址

代码地址:代码地址

基本原理

image-20240622094143702

HS-FPN(Hierarchical Scale-based Feature Pyramid Network)是一种用于多尺度特征融合的网络结构,旨在解决白细胞图像中的多尺度挑战,从而提高模型对白细胞的准确识别能力。HS-FPN包括两个主要组件:特征选择模块和特征融合模块。

  1. 特征选择模块:在特征选择模块中,不同尺度的特征图经过筛选过程。这个过程有助于选择高级和低级特征图中的信息。

  2. 特征融合模块:在特征融合模块中,经过筛选的特征与高级语义特征进行逐点相加。这种融合方式能够有效地将高级语义信息与低级特征属性相结合,从而提高对白细胞图像的特征表达能力。

HS-FPN利用通道注意(Channel Attention,CA)模块来利用高级语义特征作为权重,以过滤低级特征。这种筛选后的特征与高级语义特征相加,实现了多尺度特征融合,从而提高了模型的特征表达能力。通过这种方式,HS-FPN能够更好地捕获白细胞图像的全面特征信息,从而提高白细胞检测的准确性和效率。

yolov8 代码引入

# 定义HSFPN通道注意力机制类
class HSFPNChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=4, flag=True):
        super(HSFPNChannelAttention, self).__init__()
        # 自适应平均池化,将输入特征图变为1x1
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        # 自适应最大池化,将输入特征图变为1x1
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        # 卷积层1,将输入通道数降维
        self.conv1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        # ReLU激活函数
        self.relu = nn.ReLU()
        # 卷积层2,将通道数恢复
        self.conv2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
        
        # 标志位,决定输出是否与输入相乘
        self.flag = flag
        # Sigmoid激活函数
        self.sigmoid = nn.Sigmoid()

        # 初始化卷积层权重
        nn.init.xavier_uniform_(self.conv1.weight)
        nn.init.xavier_uniform_(self.conv2.weight)

    def forward(self, x):
        # 通过平均池化和两层卷积计算通道注意力
        avg_out = self.conv2(self.relu(self.conv1(self.avg_pool(x))))
        # 通过最大池化和两层卷积计算通道注意力
        max_out = self.conv2(self.relu(self.conv1(self.max_pool(x))))
        # 将平均池化和最大池化的结果相加
        out = avg_out + max_out
        # 根据flag决定是否与输入相乘并返回结果
        return self.sigmoid(out) * x if self.flag else self.sigmoid(out)

task与yaml配置

详见:hhttps://blog.csdn.net/shangyanaf/article/details/139877859

标签:NECK,nn,特征,HS,self,融合,白细胞
From: https://www.cnblogs.com/banxia-frontend/p/18261904

相关文章

  • 云渲染与传统渲染器的较量与融合
    随着云计算技术的突破性进展,云渲染技术应运而生,为传统渲染器带来了前所未有的挑战与机遇。云渲染,以其在计算资源、可扩展性、协作便利性等方面的显著优势,正在重新定义渲染行业的标准。云渲染与传统渲染器之间的核心差异,如何适应并优化现代视觉制作的工作流程。计算资源:分布式力......
  • 迅狐多商户直播商城系统源码:电商领域的创新融合
    随着直播技术的兴起和电子商务的蓬勃发展,迅狐多商户直播商城系统源码应运而生,为商家和消费者提供了一个全新的互动购物平台。多商户直播商城系统源码概述迅狐多商户直播商城系统源码是一个高度集成的解决方案,它结合了直播的即时性和电子商务的便捷性。源码的设计初衷是为商家......
  • 【YOLOv8改进】CAFM(Convolution and Attention Fusion Module):卷积和注意力融合模块
    摘要摘要——高光谱图像(HSI)去噪对于高光谱数据的有效分析和解释至关重要。然而,同时建模全局和局部特征以增强HSI去噪的研究却很少。在本文中,我们提出了一种混合卷积和注意力网络(HCANet),该网络结合了卷积神经网络(CNN)和Transformers的优势。为了增强全局和局部特征的建模,我们设计了......
  • svn cleanup 系统找不到指定路径_SVN:cleanup failed to process the following paths
    svn执行清理,提示“系统找不到指定的文件。”下面看一下如何解决这个问题吧:1.在sqlite官网(https://www.sqlite.org/download.html)下载sqlite-tools-win32-x86-3310100.zip(资源我会放在后面)下载下来打开如下图所示:2.将其中的sqlite3.exe文件复制到.svn目录下与wc.db同级......
  • 微信小程序touchstart影响tap的解决方法
    想给我的小程序做一个悬浮球组件,用来进行某些配置设置。但是悬浮球做好后,发现拖拽可以,但是tap事件无法触发。百度了一下,以下是官方的解释 然后看了一下其他人的解决方案,发现太麻烦(毕竟不是专业前端)。于是想了下既然不能共存,那我就判断拖拽的位移嘛,看下能不能实现。通过对t......
  • Java智慧工地源码 5G智慧工地系统源码 使用SAAS部署 三维可视化管理,与一线生产过程相
    Java智慧工地源码5G智慧工地系统源码使用SAAS部署三维可视化管理,与一线生产过程相融合,集成数据后台,统一前端入口,呈现多方项目信息;智慧工地是指运用信息化手段,通过三维设计平台对工程项目进行精确设计和施工模拟,围绕施工过程管理,建立互联协同、智能生产、科学管理的施工项......
  • YOLOv8改进 | Neck | 添加双向特征金字塔BiFPN【含二次独家创新】
    ......
  • 视频共享融合赋能平台LntonCVS视频监控业务平台建设安全煤矿矿井应用方案
    随着我国经济的飞速增长,煤炭作为主要的能源之一,在我国的能源结构中扮演着至关重要的角色。然而,煤矿事故的频繁发生,不仅造成了巨大的人员伤亡和财产损失,也对社会产生了深远的负面影响。因此,实现煤矿的智能化无人开采及安全生产,视频监控系统成为了关键所在。视频监控方案能够实......
  • 【YOLOv10改进[注意力]】使用迭代注意力特征融合(iterative attentional feature fusio
    本文将进行使用迭代注意力特征融合(iterativeattentionalfeaturefusion,iAFF)改进c2f ,助力YOLOv10目标检测效果的实践,文中含全部代码、详细修改方式以及手撕结构图。助您轻松理解改进的方法。改进前和改进后的参数对比: 目录一AttentionalFeatureFusion(2020)二使用......
  • 【GreenHills】GHS发生Link错误的时候保留Map文件
    【更多软件使用问题请点击亿道电子官方网站】1、 文档目标用于在构建工程的过程中,如果出现链接错误的时候,也保留Map文件。2、 问题场景用于解决在GHS中进行项目开发时,在构建过程中出现了Link Error,需要通过Map文件去排查问题,查看是哪部分在映射的时候出现了问题。3......