读论文-基于注意力机制的浅层图像隐写分析模型

前言

今天要读的论文是一篇名为《基于注意力机制的浅层图像隐写分析模型》，文章提出了一种基于注意力机制的浅层图像隐写分析模型，通过使用一个浅层神经网络控制模型参数量和训练时间，引入注意力模块，加速模型收敛，提升模型检测的准确率。

要引用本文：请使用如下格式：

段明月,李爽,钟小宇等.基于注意力机制的浅层图像隐写分析模型[J].华北理工大学学报(自然科学版),2024,46(01):133-140.

摘要

为进一步提高隐写分析模型的检测准确率，提出一种基于注意力机制的浅层图像隐写分析模型，通过使用一个浅层神经网络控制模型参数量和训练时间，引入注意力模块，加速模型收敛，提升模型检测的准确率。实验结果表明，针对３种隐写算法在嵌入率分别为0.2bpp和0.4bpp时，检测准确率比浅层卷积神经网络（Shallow Convolution Neural Network, SC-NN）均有提升，最高提升5.5%。

引言

隐写术与隐写分析是信息安全领域中一个重要分支，二者一直在对抗中发展，其中基于图像的隐写术与隐写分析是目前研究的重点之一。

图像隐写主要分为自适应隐写算法和非自适应隐写算法：非自适应隐写算法对背景知识要求较高，通过人工选择隐写位置，是对图像无差别的修改，该思想可能会导致图像肉眼可见的失真；自适应隐写算法通过寻找最小失真代价函数来实现隐写位置的选择，使用这种隐写算法的图像不能被肉眼识别，对背景知识要求不高，是目前广泛使用的隐写算法，经典代表算法有S-UNIWARD, WOW, HUGO。

针对自适应图像隐写算法，学者们提出了基于深度神经网络的隐写分析模型，通过训练一个深度神经网络模型提取图像特征，学习隐写算法嵌入位置，最终判别图像是否被隐写，该算法能有效识别多种隐写算法，对未知算法也能起到有效的检测效果，是目前图像隐写分析的研究重点。

基础知识

随着神经网络的提出，以深度学习为基础的端到端的图像隐写分析模型开始成为研究重点，与空域富模型（Spatial Rich Model, SRM）最大的不同是，图像隐写分析模型对研究者的背景知识要求降低了，只要设置好相应的深度神经网络结构就可以使模型自主学习图像特征，通过不断地更新迭代提高特征提取的有效性。

卷积神经网络

卷积神经网络结构主要包括卷积层、批量标准化层、激活函数层、池化层、全连接层和输出层。

卷积层（Cone）是用于特征提取的主要部分，预先设置卷积核大小和数量，通过卷积核与图像进行卷积操作可以提取到多样化的图像特征，通过改变卷积核的大小可以改变卷积感受野，卷积核越小，感受野越小，计算量越小，得到的特征更加具体；卷积核越大，感受野越大，计算量越大，得到的特征更加抽象。卷积操作示例如图１所示，图１中卷积核为3*3，步长为1。

批量标准化层（BN）用于标准化数据，模型的训练过程中利用小批量的均值和方差调整神经网络中间的输出，使得各层之间的输出都符合均值、方差相同的高斯分布，使得数据更加稳定，无论隐藏层的参数如何变化，可以确定的是前一层网络输出数据的均值和方差都是已知的，以此解决了数据分布不断改变带来的训练缓慢、学习率较小等问题。激活函数层主要作用是非线性化数据，增强模型表达力。根据卷积操作示例图可以发现卷积层的操作是一种线性运算，如果不使用激活函数将２个卷积层隔离开，那么这２个卷积层实际和一个卷积操作的作用是一样，多层卷积就会失去意义，引入激活函数后将数据进行非线性化，就可以完美规避上述问题。池化层（Pooling）首要作用是下采样，能够降低特征图维度、去除冗余信息、压缩特征图的大小、减小计算量，但是也存在一些弊端，下采样会导致细节特征丢失，具体使用情况可以根据任务目标调整。池化操作示例如图２所示，图２中为大小为２，步长为２的最大池化操作。

全连接层（FC）将得到的特征图展平成一个通道数为１的向量，由此实现端到端的学习过程。
输出层一般使用softmax函数计算属于各类别的概率，该函数主要用于分类问题。

注意力机制

注意力机制是基于人类视觉研究基础上产生的，人类在观察图像时，会选择性的关注一部分信息，而忽略其他信息，这是由于信息处理瓶颈导致的，根据以上现象提出了注意力机制，本文使用了２种注意力机制，分别为通道注意力机制和空间注意力机制，将２种机制相结合形成一个大的注意力模块（Convolutional Block Attention Module，CBAM）。通道注意力机制是通过对输入的特征图的多通道特性给予权重的方式实现的注意力机制，通过网络对参数训练，对与预测结果相关性高的通道给与高权重，对与预测结果相关性低的通道给与低权重，以此实现模型的加速收敛。对于彩色图像来说，输入的图像分为红、绿、蓝３个通道，通过训练神经网络进行学习可以实现对特定通道的重点关注；对于灰度图像来说，通过神经网络对多层提取特征，得到一组高维特征，通过使用通道注意力给予重点特征高的权重，以达到更好的结果，通道注意力模块结构如图所示。