训练过程为什么需要Mask机制？两个原因。1.屏蔽未来信息，防止未来帧参与训练。2.处理不同长度的序列，在批处理时对较短的序列进行填充（padding），并确保这些填充不会影响到模型的输出。mask机制如何实现？1.屏蔽未来信息的Mask：在自注意力层中，通过构造一个上三角矩阵（对于解码器），其

BatchNorm&LayerNorm目录BatchNorm&LayerNormBatchNorm过程LayerNormNormalization作用：1.缓解内部协变量偏移。在深度神经网络中，随着网络层数的加深，每一层的参数更新都可能导致后续层的输入分布发生变化，这种现象被称为内部协变量偏移（InternalCovariateShift,ICS）。ICS

论文提出了包括渐进重参数化批归一化和简化线性注意力在内的新策略，以获取高效的Transformer架构。在训练过程中逐步将LayerNorm替换为重参数化批归一化，以实现无损准确率，同时在推理阶段利用BatchNorm的高效优势。此外，论文设计了一种简化的线性注意力机制，其在计算成本较低的情况下

以VisionTransformer(ViT)的发现为先导的基于transformer的架构在计算机视觉领域引发了一场革命。对于广泛的应用,ViT及其各种变体已经有效地挑战了卷积神经网络(CNN)作为最先进架构的地位。尽管取得了一些成功,但是ViT需要更长的训练时间,并且对于小型到中型输入数据大小,推理

一、LayerNorm1.1介绍LayerNorm（LayerNormalization）是2016年提出的，随着Transformer等模型的大规模推广，LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm，对输入的每个样本进行归一化处理，具体就是计算每个输入的均值和方差，归一化到均值为0，方差为1，另外还会学习\(\mat

LayerNormalization（层归一化）和BatchNormalization（批量归一化）都是深度学习中常用的归一化技术，用于加速训练过程和改善模型性能。它们的主要区别在于归一化的方式和应用的场景。BatchNormalization（批量归一化）：归一化方式：BatchNormalization对每个特征在小批量数据上进行归一

归一化NormalizationBatchNorm的初衷是解决InternalCovariateShift问题。尽可能将mini-batch归一化到标准正态分布，使得网络层的输出分布趋于稳定。InternalCovariateShift问题简单来说，是网络学习更新权重后可能会改变输出的分布，导致下一层总是迟一步适应这次的分布。

个人学习使用，侵权删参考来源：为什么Transformer要用LayerNorm为什么Transformer模型使用layernorm而不是batchnormtransformer为什么使用layernormalization，而不是其他的归一化方法？

BatchNorm层【对数据进行归一化】位置：全连接层：仿射变换与激活函数之间卷积层：卷积层后与激活函数之前作用：①加快收敛速度；②防止梯度爆炸/梯度消失③防止过拟合

我们发现这个sigmoid函数在小于-4或者大于4的时候他的导数趋近于0。然后我们送进去的input的值在[-100,100]之间，这样很容易引起梯度弥散的现象。所以我们一般情况下使用ReLU函数，但是我们有时候又不得不使用sigmoid函数。这个时候我们在送到下一层的时候我们应该先经过Normalizatio

常用归一化方法1.BatchNormhttps://arxiv.org/abs/1502.03167BatchNorm是一种归一化方法，用于对神经网络中的特征进行标准化处理。可以加速深层神经网络的训练，防止梯度消失和爆炸问题，并提高模型的泛化能力。在深层神经网络中，由于各层之间的输出分布可能会变化，导致模型难以训

1.【深度学习】深入理解BatchNormalization批标准化-郭耀华-博客园(cnblogs.com)“这项研究认为，BN效果好是因为BN的存在会引入mini-batch内其他样本的信息，就会导致

https://blog.csdn.net/Little_White_9/article/details/123345062?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~