首页 > 其他分享 >YOLOv11改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力

YOLOv11改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力

时间：2024-10-16 12:47:52浏览次数：17

标签：Transformer SHSA Conv 单头 ultralytics 改进 YOLOv11 2.3 注意力

一、本文介绍

本文记录的是利用单头自注意力SHSA改进YOLOv11检测模型，详细说明了优化原因，注意事项等。传统的自注意力机制虽能提升性能，但计算量大，内存访问成本高，而SHSA从根本上避免了多注意力头机制带来的计算冗余。并且改进后的模型在相同计算预算下，能够堆叠更多宽度更大的块，从而提高性能。

专栏目录：YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv11改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

一、本文介绍
二、Single-Head Self-Attention介绍
三、SHSA的实现代码
四、添加步骤
- 4.1 改进点1
- 4.2 改进点2⭐
五、添加步骤
六、yaml模型文件
- 6.1 模型改进版本一
- 6.2 模型改进版本二⭐

标签：Transformer,SHSA,Conv,单头,ultralytics,改进,YOLOv11,2.3,注意力
From： https://blog.csdn.net/qq_42591591/article/details/142925365

相关文章

Transformer的核心思想---自注意力机制
自注意力机制（Self-Attention）是Transformer模型的核心思想。它通过一种聪明的方式让神经网络在处理一个序列时（例如，一个句子中的单词），能够“注意”到序列中其他部分的相关信息，而不仅仅依赖于局部信息。相比传统的序列模型（如RNN、LSTM），自注意力机制能更好地捕捉远距离的依赖关系，特别适......
Transformer 的缩放因子为什么需要开平方根
目录一、防止过大的注意力分数导致softmax函数饱和二、维度校正三、保持方差稳定在Transformer模型中，缩放因子（scalingfactor）特别设计用于调整注意力分数（attentionscores），它通常是键向量维度的平方根。这一做法主要是出于以下几个原因：一、防止过大的注意力分数导致......
吴恩达深度学习笔记：卷积神经网络（Foundations of Convolutional Neural Networks）3.5-3.
目录第四门课卷积神经网络（ConvolutionalNeuralNetworks）第三周目标检测（Objectdetection）3.5BoundingBox预测（Boundingboxpredictions）3.6交并比（Intersectionoverunion）第四门课卷积神经网络（ConvolutionalNeuralNetworks）第三周目标检测（Objectdetection......
自然语言处理之语音识别：Convolutional Neural Networks (CNN)：深度学习与神经网络基础
自然语言处理之语音识别：ConvolutionalNeuralNetworks(CNN)：深度学习与神经网络基础深度学习与神经网络基础subdir1.1:神经网络的基本概念神经网络是一种模仿人脑神经元结构的计算模型，用于处理复杂的数据模式识别和预测问题。它由输入层、隐藏层和输出层组成，每一层......
自然语言处理之语音识别：Convolutional Neural Networks(CNN)与迁移学习_
自然语言处理之语音识别：ConvolutionalNeuralNetworks(CNN)与迁移学习自然语言处理与语音识别基础自然语言处理概览自然语言处理（NLP）是人工智能领域的一个重要分支，它关注如何使计算机能够理解、解释和生成人类语言。NLP技术广泛应用于文本分类、情感分析、机器翻译、问......
基于LSTM-Transformer混合模型实现股票价格多变量时序预测(PyTorch版)
前言系列专栏:【深度学习：算法项目实战】✨︎涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对抗网络、门控循环单元、长短期记忆......

赞助商

阅读排行