RT-DETR融合[ICCV2023]DySample中的上采样模块

RT-DETR使用教程： RT-DETR使用教程

RT-DETR改进汇总贴：RT-DETR更新汇总贴

《DySample: Learning to Upsample by Learning to Sample》

一、 模块介绍

        论文链接： https://arxiv.org/abs/2308.15085

        代码链接：https://github.com/tiny-smart/dysample

论文速览：

        尽管最近的基于内核的动态上采样器如CARAFE、FADE和SAPA取得了令人印象深刻的性能提升，但它们引入了大量的工作量，主要是由于时间消耗大的动态卷积和用于生成动态内核的额外子网络。 此外，FADE和SAPA对高分辨率特征的需求在一定程度上限制了它们的应用场景。为了解决这些问题，研究人员绕过了动态卷积，并从点采样的角度来表述上采样，这更加节省资源并可以用PyTorch中的标准内置函数轻松实现。与之前的基于内核的动态上采样相比，DySample不需要自定义的CUDA包，并且参数、FLOPs、GPU内存和延迟都要少得多。除了轻量级的特点之外，DySample在五个密集预测任务（语义分割、目标检测、实例分割、全景分割和单目深度估计）中都优于其他上采样器。DySample的应用领域也更广泛，可以适用于各类图像处理任务，有效提升图像处理的效率和质量。

总结：文中提出一种轻量化的上采样算子。​

⭐⭐本文二创模块仅更新于付费群中，往期免费教程可看下方链接⭐⭐

RT-DETR更新汇总贴（含免费教程）文章浏览阅读264次。RT-DETR使用教程：缝合教程： RT-DETR中的yaml文件详解：labelimg使用教程：_rt-deterhttps://xy2668825911.blog.csdn.net/article/details/143696113 ⭐⭐付费项目简介：融合上百种顶刊顶会模块的YOLO项目仅119，此外含高性能自研模型与本文模块融合进行二创三创，最快1-2周完成小论文改进实验，代码每周更新（上周更新超20+二创模块），欢迎QQ：2668825911(点击下方小卡片扫二维码)加我了解。⭐⭐

⭐⭐本项目并非简单的模块插入，平均每个文章对应4-6个二创或自研融合模块，有效果即可写论文或三创。本文项目使用ultralytics框架，兼容YOLOv3\5\6\8\9\10\world与RT-DETR。⭐⭐

        已进群小伙伴可以先用下文二创及自研模块在自己的数据集上测试，有效果再进行模块结构分析或继续改进。

二、二创融合模块

2.1 相关二创模块及所需参数

        该模块可如图加入到HGBlock、RepNCSPELAN4、RepC3与自研等模块中，代码见群文件，所需参数如下。

HGBlock-变式模块 所需参数：(c1, cm, c2, k, n, lightconv, shortcut, act)

RepNCSPELAN4-变式模块 所需参数：(c1, c2, c3, c4, n)

RepC3-变式模块 所需参数：(c1, c2, n, e)

CCRI及变式模块 所需参数：(c1, c2, k, n, lightconv, shortcut, scale, e, act)

RepC4及变式模块 所需参数：(c1, c2, n, e)

​

​

2.2 更改yaml文件 （以自研模型加入为例）

yam文件解读：YOLO系列 “.yaml“文件解读_yolo yaml文件-CSDN博客

       打开更改ultralytics/cfg/models/rt-detr路径下的rtdetr-l.yaml文件，替换原有模块。

​

# Ultralytics YOLO 

标签：RT,Conv,DySample,yaml,模块,DETR,256	

From： https://blog.csdn.net/StopAndGoyyy/article/details/144516192