可变性卷积

一，提出目的：

为解决传统卷积的部分局限问题：

1. 几何形变问题：
- 现实中的物体在图像或视频里常存在几何形变，如不同角度和形状的物体。传统卷积核采样位置固定，无法很好地适应这些变化来提取有效特征。
- 可变形卷积通过使卷积核能够自适应地调整采样位置，从而能够更准确地提取具有几何形变的物体特征。
2. 感受野局限性问题：
- 传统卷积核的感受野是固定的，对于尺寸差异大的目标，不能全面地提取特征。
- 可变形卷积可以根据目标形态调整采样位置，克服了感受野固定的局限，使网络对不同尺度目标的适应性更强。
3. 增强小目标特征提取问题：
- 在目标检测和识别任务中，小目标的特征提取是个挑战。传统卷积可能因为固定的采样方式，在提取小目标特征时，要么采样不足导致特征不充分，要么受到周围背景的干扰。
- 可变形卷积能够根据小目标的实际形状和位置，精确地调整采样点，更有效地聚焦小目标自身的特征，避免过多无关背景信息的干扰，提高小目标检测和识别的准确性。
4. 提高模型对遮挡情况的处理能力问题：
 - 当目标物体存在部分遮挡时，传统卷积可能会提取到不准确的特征，因为其固定的采样位置无法避开遮挡部分或者准确地聚焦未被遮挡区域的有效特征。
- 可变形卷积可以通过调整采样位置，尽量避开遮挡区域，更多地关注目标物体未被遮挡的部分，从而提取到更合理的特征，提高模型在目标存在遮挡的情况下的识别和处理能力。

二，DCNV1

改进点1：对卷积核添加了一个可学习的偏移量。

通过引入可学习的偏移量，采用另一个卷积核来进行偏移量的计算，计算后得到移动过的卷积核（能更好地捕捉图像中的特征变化，尤其是对于形状不规则或具有复杂形变的对象）。由于移动过的卷积核很可能不在对应的点位坐标上，大部分情况都是小数，所以采用双线值插法来得到该点位上的像素值（采用双线值插法得到的像素值并不是真正的存在的像素值，是通过计算得到的虚拟像素值——该虚拟像素值可看成对图像特征的一种插值和近似，有助于提高模型的泛化能力）。

卷积核通常是3*3的，那么一共就需要9*2（乘2是指x和y两个方向都需要参数）个 的偏移参数∆p即该卷积核的位置通过偏移卷积核卷积输出2*3*3的矩阵，加到该卷积核的位置参数上，然后得到经过偏移的卷积核，最后通过双线插值公式得到的像素点用于后续卷积操作。

改进点2：可变形RoI池化

与对卷积核增加偏移量类似，对于所取样的采样点，采用双线插值计算偏移后的采样点，再进行计算概率（加入偏移量能适应不同形状的感兴趣区域，提高了对目标对象的特征提取能力）。

可变形RoI池化中，同样是将偏移量∆p加到空间分块位置上，与可变性卷积不同的是，Rol池化采用全连接层来获得偏移参数，而可变性卷积采用卷积层获得参数（采用了不同的方式获取数据，增强了模型的灵活性）。

三，DCNV2

改进点1：在可变形卷积与可变形Rol池化中增加调节机制

调节机制通过引入一个可学习的权重参数来达到对偏移卷积核的调节作用，即该对卷积核相应空间位置的图像内容产生的影响进行控制作用，极端情况下可以将权重设为0，达到不接收某一位置信号的目的（解决了感受野对应位置超出了目标范围，导致影响和干扰最终的结果判断造成错误识别的问题）。

调制标量∆m和偏移参量∆p一样​都是通过在相同的输入特征图上应用一个单独的卷积层或全连接层得到的。调制标量∆m的大小通过sigmoid归一化控制在[0,1]范围内。不同于偏移的方式，而采取的是奖励机制，对于目标范围内的区域∆m越接近于1，对于目标范围以外的背景区域∆m越接近于0，也可以理解成注意力机制，感兴趣的地方就近似保持原有的数据，不感兴趣的地方就减小他的影响。

改进2：R-CNN Feature Mimicking

通过另一个教师网络来指导学生网络的训练，教师网络负责Rol的分类操作。通过更准确的分类参数来指导学生网络的参数训练。以达到加快学习收敛的作用。

事先训练好一个教师网络即右边的子网络。教师网络负责接收学生网络产生的Rol从原图上裁剪出来作为输入来对其进行分类操作，同时参考整个图像区域全面地获取特征信号达到精确分类的效果，最后将学生网络的训练参数与教师网络的训练参数一起进行余弦相似度计算，从而加快学生网络的训练。

四，DCNV3

改进点1：借鉴可分离卷积思想并在卷积神经元之间共享权重

将原始卷积权值变成为参数m（深度部分depth-wise）和参数w（逐点部分point-wise）两部分（在可分离卷积中深度卷积depthwise convolution用于提取空间特征，逐点卷积pointwise convolution用于提取通道特征），depth-wise与调制标量获得方式一样采用卷积的方式获得空间特征，point-wise采用的是采样点之间共享的投影权重w以达到获取类似通道特征的目的。

改进点2： 引入多分组机制

将空间聚集过程分成G组，每个组都有单独的采样偏移和调制标量因此在一个卷积层上的不同组可以有不同的空间聚集模式。相当于将特征图与卷积层分成多组进行同时多组学习（可以有效地从不同位置的不同表示子空间中学习更丰富的信息），结合每组的学习情况从而总体加快收敛与提取更重要的特征。

改进点3：将采样点间的调制标量进行softmax归一化

调制标量的sigmoid归一化在使用大规模参数和数据进行训练时，调制标量的和在0到k之间，会导致梯度的不稳定。而调制标量的softmax归一化将调制标量的和限制为1，使得不同尺度下模型的训练过程更加稳定。