[1]端到端的结构:
输入直接映射到输出,没有中间步骤或人为干预。这种方法的核心思想是将整个任务或流程作为一个单一的系统来优化和执行,而不需要手动处理中间步骤或特征工程。
[2]残差神经网络
残差的使用主要是由于直接进行学习容易导致梯度的爆炸或消失,使用残差块,不直接学习映射,而是学习与输入的差值,可以有效缓解梯度消失和梯度爆炸,从而使深度学习可以支撑深度更大的神经网络。
残差块具有多种结构,其本质就是一个基本块加上输入X的值产生输出。
![](https://i-blog.csdnimg.cn/direct/9abd81f964e84491997fd7e01e368242.png)
文中使用的残差块
下图为文中使用的基本残差单元,即输入经过ReLU激活,然后进行卷积操作提取空间特征,再通过ReLU激活,再使用卷积层,之后与输入相加,得到模块的输出。即X->ReLU->Conv->ReLU->Conv
变体L12-single-E去掉一个ReLU和Conv,结构为X->ReLU->Conv
变体L12-E-BN添加两个BN(Batch Normalization),结构为X->BN->ReLU->Conv->BN->ReLU->Conv
[3]加性残差函数
即指残差函数,加性是为说明其作用是添加到输入X上形成输出。
[4]Logistic函数
Logistic函数即sigmoid函数,为,函数值变化敏感,一旦接近或者超出区间就失去敏感性。
图像为:
tanh函数是双曲正切函数,为,能够保持非线性单调上升和下降关系,但比Logistic延长了饱和期。
图像为:
[5]子采样
通过减少采样率来降低数据的分辨率或密度。此处指在样本不均衡的情况下,子采样可以指从多数类别(majority class)中随机选择一部分样本,使得与少数类别(minority class)的样本数量接近,从而平衡数据集,提高分类器的性能。
标签:函数,Conv,BN,残差,ReLU,名词解释,时空,输入 From: https://blog.csdn.net/2301_79335566/article/details/140936820