标签：视角 论文 坍缩 YoloV9 ContraNorm 改进 归一化 维度
论文介绍
- ContraNorm提出背景：过平滑是图神经网络（GNNs）和Transformer中普遍存在的一种现象，随着层数的增加，性能会恶化。现有方法多从表征完全收敛到单一点的视角来刻画过平滑，但论文深入到一个更一般的维度坍缩视角，其中表征位于一个狭窄的锥体中。
- ContraNorm的提出：受对比学习在防止维度坍缩方面有效性的启发，论文提出了一种新的归一化层，称为ContraNorm。该层在嵌入空间中隐式地分散表征，导致更均匀的分布和更轻微的维度坍缩。
- 实验验证：论文在各种真实数据集上的实验证明了ContraNorm的有效性，并展示了其可以轻松集成到GNNs和Transformer中，且参数开销可忽略不计。
创新点
- 新的维度坍缩视角：论文没有从完全坍缩的角度看待过平滑，而是提出了一个更一般的维度坍缩视角，为理解过平滑现象提供了新的思路。
- ContraNorm归一化层：受对比学习启发，设计了ContraNorm归一化层，该层能够隐式地分散表征，缓解维度坍缩问题。
- 广泛的应用场景
标签：视角,
论文,
坍缩,
YoloV9,
ContraNorm,
改进,
归一化,
维度
From： https://blog.csdn.net/m0_47867638/article/details/143103035