首页 > 其他分享 >论文框架梳理(二)——密集场景下旋转小目标检测

论文框架梳理(二)——密集场景下旋转小目标检测

时间:2024-09-09 21:22:16浏览次数:3  
标签:章节 场景 边界 特征 检测 论文 模块 TABLE 梳理

前言

论文结构梳理(e.g.)

论文:《SCRDet++: Detecting Small, Cluttered and Rotated Objects via Instance-Level Feature Denoising and Rotation Loss Smoothing》
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence
出版时间:2023

  • 论文动机:常规目标检测不足以应对复杂场景小而杂乱方向任意物体的检测。(e.g.当目标紧挨时,两个实例目标的目标检测框如果不带方向,则容易过度重合。在标注或检测时都无法生成有效的边界框)

  • 创新点:

    1. 小物体/杂乱排列检测:设计了一个实例去噪(InLD)模块在特征图中过滤无关像素噪声。
    2. 物体方向问题:设计了一种 IoU-Smooth L1损失来解决旋转边界框回归问题
    3. 创建了一个新的数据集S2TLD
  • 论文结构小结:这篇论文的整体内容太繁杂,小目标和杂乱排列这两个问题很难清晰划分,所以实验部分作者把各个部分内容交叉在一起,做了各种消融实验,可以借鉴这篇文章的很多实验方法,和遣词造句的小tips。但是很难按本文结构去组织一篇手稿。
    在这里插入图片描述

图例分析

fig1.复杂场景中的小型杂乱旋转物体

章节:Introduction
Objective:展示非旋转检测的结果,引出研究背景和需求
在这里插入图片描述

fig2.方法概述

  • 章节:method
  • Objective:介绍文章的主要技术创新点,图像降噪模块的理论框架。
  • 模块解读:
    1. Feature Pyramid Networks(特征金字塔):通过卷积和上下采样结合残差网路思想得到不同深度和尺寸的特征图。尺寸越大的特征图对应的感受野越小,因此通常对应更小的锚框用于检测小目标。反之亦然。
    2. Image-level Denoising (图像级去噪):在特征图中引入图像处理技术进行特征图降噪。揣测作者的表达意图(在经过特征金字塔之后生成的特征图,每个特征点相当于是一个区域范围内的图像信息集合的一个参数表示,采用高斯滤波等对特征图进行降噪操作无法从数学逻辑上证明滤除的是噪声,准确来说应该是利用高斯滤波将原有特征图生成一张新的特征图,当然深度学习的黑盒很难逻辑化,以结果为准)。
    3. Instance-level Denoising(实例级去噪):
      • dilated convs:经过多次1*1卷积分别生成两个特征图。其中W x H x (c+1)是用来生成边界框目标置信度的,即框内有没有目标。(C+1)应该是为了多生成一个背景类别,应对作者说“inter-class feature coupling & intra-class feature boundary blur”.另一个W x H x 256特征图其实是用作权重。按注意力机制的思路,每一个点的值代表与该点相乘的另一特征值的重要程度。求解答(这两个特征图之间的guide究竟gui了个啥???)
      • category-decoupled feature(类别解耦特征):将以上生成的权重特征,与初始输入特征相乘所得。继而将其解耦成边界框信息和类别信息。揣测实际输出应该为 [(c+1),A,(5+1+1)]:c+1类别数加背景,A锚框数,5 (final box)+1(class-specific scores)+1(final scores)

在这里插入图片描述

fig3.特征图可视化对比

  • 章节:method
  • Objective:可视化模块(InLD component)插入前后算法性能对比。
  • 揣测作图方法:将原始图像降采样值输出特征图尺寸,将特征图进行叠加并且归一化,映射到原图。
    在这里插入图片描述

fig4.在原图添加噪声生成特征图

  • 章节:method
  • Objective:暂时没发现()
    在这里插入图片描述

fig5.算法模块图解

  • 章节:method
  • Objective:其实和图二表达的内容是大致相同的。
    在这里插入图片描述

fig6.旋转边界框定义

  • 章节:method
  • Objective:可能是想展示旋转边界框的角度极性和值的定义。
  • 注意,这张图误导性很强,从图7看就是绕边界框中心点顺时针逆时针旋转,不要被红线的标注误导,从图例的描述中我们可以发现,钝角锐角分别用 θw。但是图中有两个θ,可能是作者误标。
    在这里插入图片描述

fig7.边界框回归不连续

  • 章节:method
  • Objective:展示边界框回归过程中产生的问题。以及边界框损失的计算方法:POA(角度周期性) + EOE(边缘互换性),通俗表达:旋转角度损失+w,h的缩放损失。

在这里插入图片描述

fig8.不同边界框损失对应的检测结果

  • 章节:method
  • Objective:计算边界框损失的两种方法,第一种损失,只计算旋转角度和边界框尺度缩放损失,第二种计算,基于旋转角度和缩放参数得到的边界框,计算与真值边界框的交并比损失。第二种更为合理,归根结底我我们是要使得预测边界框与真实值尽可能重合,准确来说,(a)->(b)是递进。
    在这里插入图片描述

fig9.数据集介绍

  • 章节:method
    在这里插入图片描述

fig10.对比插入像素级降噪组件后的可视化检测结果

  • 章节:Experiment
    在这里插入图片描述

fig11. 旋转边界框检测的可视化结果

  • 章节:Experiment
    在这里插入图片描述

fig12. 密集场景下的小目标HBB;OBB任务检测

  • 章节:Experiment
  • horizontal bounding boxes (HBB)(水平边界框);oriented bounding boxes (OBB)(旋转边界框)
    在这里插入图片描述

表格分析

TABLE 1. 图像级去噪模块的消融实验

  • 章节:Experiment
  • Objective:在一个模型框架中对比不同图像级降噪方法对模型检测性能的影响
    在这里插入图片描述

TABLE 2. 像素级降噪模块对准确率和速度的影响

  • 章节:Experiment
  • Objective:
    在这里插入图片描述

TABLE 3. 扩展卷积模块卷积层数量和像素级预测结果损失对检测结果的影响

  • 章节:Experiment
  • Objective:
    在这里插入图片描述

TABLE 4. InLD对通数据集不通类别检测结果的影响

  • 章节:Experiment
  • Objective:在不同基础模型上,添加像素级降噪模块对各个类别检测结果的影响

在这里插入图片描述

TABLE 5. ImLD,InLD组合对检测准确率的硬性

  • 章节:Experiment
  • Objective:在不同数据集,不同算法框架上,添加像素级图像级降噪模块对检测结果的影响。
    在这里插入图片描述

TABLE 6. 像素级降噪在和数据增广方式,对结果的影响

  • 章节:Experiment
  • Objective:在DOTA-V1数据集,不同算法框架上,添加像素级降噪模块;和不同数据增广方式,对比检测结果。
    在这里插入图片描述

TABLE 7. 损失函数,InLD,backbone,不同类别的影响。

  • 章节:Experiment
  • Objective:学一手排列组合,消融实验
    在这里插入图片描述

TABLE 8. 不同损失函数,对检测结果的影响。

  • 章节:Experiment
  • Objective:学一手排列组合,消融实验
    在这里插入图片描述

TABLE 9/TABLE 10. 检测结果大全

  • .。。。。

骚话本

  • inter-class feature coupling(类间特征耦合):猫狗都有一个头四条腿。
  • intra-class feature boundary blur (类内特征边界模糊):都属于猫,但是花色不一。
  • baseline model /base model(基线模型):做性能比较时用baseline model,强调算法开发优化时用base model
  • InLD component(InLD组件):学了个新词组件(component),作电子元器件的表达比较多,这里指代网络模块。
  • category-decoupled feature(类别解耦特征):用于生成目标值之前的特征图。举一反三: 巴拉巴拉解耦特征
  • periodicity of angular (PoA)(角度周期性):本文指的是计算损失时边界框的旋转角度。
  • exchangeability of edges (EoE)(边界互换性):本文指计算损失时边界框w,h的缩放。
  • horizontal bounding boxes (HBB)(水平边界框):
  • oriented bounding boxes (OBB)(旋转边界框):
  • Ablation Study(消融实验):
  • objectness (目标置信度)

通用作图套路总结

1. 可视化模块网络模块性能

  • 方法:将模块插入前后生成的特征图映射到输入图像。对比性能优劣;e.g. fig3
  • 扩展,可以根据目标检测的输出类别置信度,生成对应目标的热力图,用于对比特定目标的检测效果。

标签:章节,场景,边界,特征,检测,论文,模块,TABLE,梳理
From: https://blog.csdn.net/TUOLONGcsdn/article/details/141928588

相关文章

  • 论文查重
    这个作业属于哪个课程22级计科1班这个作业要求在哪里作业要求这个作业的目标使用代码实现论文查github项目链接链接PSPPSP2.1PersonalSoftwareProcessStages预估耗时(分钟)实际耗时(分钟)Planning计划2020·Estimate估计这个任务需要多......
  • BinLLM论文阅读笔记
    Text-likeEncodingofCollaborativeInformationinLargeLanguageModelsforRecommendation论文阅读笔记Abstract现存的问题:​ 在调整用于推荐的大型语言模型(LLMRec)时,整合协作信息至关重要。现有的方法通过从头开始学习LLM潜在空间中的协作嵌入或通过外部模型的映射来......
  • 数据同步方式何来“高级”与“低级”之说?场景匹配才是真理!
    导读:数据同步方式的重要性对于数据集成领域的兴从业者不言而喻,选择正确的数据同步方式能让数据同步工作的成果事半功倍。目市面上的数据同步工具很多,提供的数据同步方式也有多种,不同的数据同步方式有什么区别?如何选择适合自己业务需求的数据同步方式呢?本文将对此进行深入分析,并深......
  • 数据同步方式何来“高级”与“低级”之说?场景匹配才是真理!
    导读:数据同步方式的重要性对于数据集成领域的兴从业者不言而喻,选择正确的数据同步方式能让数据同步工作的成果事半功倍。目市面上的数据同步工具很多,提供的数据同步方式也有多种,不同的数据同步方式有什么区别?如何选择适合自己业务需求的数据同步方式呢?本文将对此进行深入分析,并......
  • 做数字孪生跑不动3D场景?这款软件的轻3D功能你值得尝试
    在数字孪生项目的交付中,我们可能时常会遇到用户电脑配置不够,导致3D场景出现卡顿甚至黑屏的现象。最近我一直在用的山海鲸可视化推出了一个新的功能叫作轻3D,可以说是专门为这类用户所打造,下面我就为大家来简单介绍一下这个山海鲸可视化新推出的轻3D功能。什么是轻3D?轻3D是数字孪......
  • 基于Node.js+vue基于vue的大学生兼职信息平台(开题+程序+论文) 计算机毕业设计
    本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取源码系统程序文件列表开题报告内容研究背景随着高等教育的普及和就业市场的日益竞争,大学生在校期间寻找兼职工作已成为常态。然而,传统的兼职信息获取方式,如校园海报、社交媒体零散信息等,存在信息分散......
  • 毕业论文答辩PPT怎么做?
    制作毕业论文答辩PPT是一个重要的环节,它不仅能够帮助你更好地展示研究成果,还能让你在答辩过程中更有条理。下面是一些建议,帮助你制作一个清晰、专业的答辩PPT:我分享了300多套「毕业论文答辩PPT模板」、「精品通用系列PPT」,点击即可保存。开场介绍标题页:包含论文题目、作......
  • Unity框架(场景切换模块)
    1、为什么要制作场景切换模块在游戏开发中很多时候可能需要进行场景切换只要存在场景切换,我们往往需要在切换场景时和切换场景结束后进行一些操作2、实现场景切换模块的主要思路1.制作SceneMgr单例模式管理器2.实现同步加载场景的公共方法3.实现异步加载场景的公共......
  • SCI论文审稿的13种状态详解
    SCI论文审稿的13种状态1.Submittedtojournal(稿件提交)代表文章提交成功。在这一阶段,需要作者确认自己所提交的文件是否符合期刊的投稿要求,包括格式、内容、摘要、参考文献等,同时也要留意期刊的审核时间和流程。2.ManuscriptreceivedbyEditorialoffice(收到稿件......
  • 基于python+flask框架的月子会所管理系统(开题+程序+论文) 计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着现代社会的快速发展和生活水平的提高,人们对母婴健康的重视程度日益增强。月子会所作为提供专业产后护理与恢复服务的机构,近年来在全球......