Introduction
深度卷积神经网络(DCNNs)在字符识别、目标检测、人脸识别和语义分割等各个领域都取得了一系列突破。然而，由于缺乏为空间几何变换设计的特定模块，学习到的特征对空间几何变换的鲁棒性不够。虽然最大池化层[2]使dcnn具有处理尺度变化和适度旋转的能力，但如果没有变换编码机制，则无法完全解决大旋转和尺度变换的问题[15].
开发了许多最先进的方法来将转换不变性编码为dcnn，可以大致分为两类:转换输入特征映射和转换滤波器。在[10]中，在空间变压器网络中引入局部化网络来预测变换参数。然后使用预测的转换参数产生转换后的输出。[22]在训练过程中引入特征图随机变换，提高CNN模型的变换不变性。在[6]中，引入了复杂的可变形卷积和可变形Rol池，提高了dcnn的变换建模能力。但模型参数和计算复杂度增加。在[25]中，CNN滤波器被替换为复杂的圆形谐波来提供方向信息。
但与Gabor[9]等人工设计的滤波器相比，dcnn在没有先验信息和领域知识的情况下，盲目地从数据中学习特征。因此，基于dcnns的数据驱动特征提取方法通常需要巨大的训练成本和复杂的模型参数。第一层滤波器的可视化显示，卷积滤波器是冗余学习的，并且与Gabor核[18]显著相似。事实上，在dcnn被应用于计算机视觉任务之前，已经有了大量的数据基于条件gabor的算法已广泛应用于手写字符识别、语音识别[4]和人脸识别[1,3]。考虑到传统手工制作的Gabor内核可以提取具有代表性的特征，将Gabor内核与dcnn结合起来以实现高性能和显著的计算节省是很自然的。一些工作[5,11,24]通过简单地使用Gabor特征作为CNN的输入，将Gabor和dcnn结合起来。有研究人员用固定或可学习的Gabor内核取代了CNN的前两层，以降低计算成本，实现更好的网络初始化[4,19]。然而，它们都没有利用Gabor滤波器的空间局部性和方向选择性特性来设计处理几何变换的模块。
为了提高dcnn在旋转和尺度变化下的性能，本文提出了一种新的Gabor卷积层(GCL)模块。更确切地说，在一个GCL中，首先将输入的特征映射转换为几个Gabor特征。然后，将所有Gabor特征输入到一组可学习的卷积核中，并合并生成对空间变换具有鲁棒性的输出特征。与传统的卷积层相比，GCL在Gabor先验信息的指导下，可以很容易地捕获鲁棒特征并学习有效的表示。同时，gcl很容易集成到任何深度架构中。基于GCLs的dcnn被称为变换不变Gabor卷积网络(TI-GCNs)，可以在不增加模型参数的情况下增强学习模型对变换的鲁棒性。综上所述，本文的贡献有:
- 提出了一种新的网络模块GCL，将尺度和方向信息编码到dcnn中，提高了dcnn对平移、尺度变化和旋转等空间变换的鲁棒性。gcl可以很容易地部署到任何CNN架构。
- TI-GCNs通过组合多个不同尺度和方向的Gabor滤波器，可以在较少参数的情况下获得更好的性能。MNIST[17]、SVHN[21]和CIFAR[13]与基线网络相比，TI-GCNs在各种基准上的性能更好，这表明TI-GCNs能够提高分类性能并增强对转换的鲁棒性。