网站首页
编程语言
数据库
系统相关
其他分享
编程问答
SYMMETRIES
2024-11-11
GIT RE-BASIN: MERGING MODELS MODULO PERMUTATION SYMMETRIES (1)
在深度学习模型的训练过程中,经常会遇到这样的现象:每次训练,虽然初始值、随机种子、训练数据的顺序不一样,但是得到的loss曲线都差不多,在验证集上的结果也差不多.这篇论文从landscape的角度解释了这个问题:神经网络的losslandscape并不是我们想象中的很混乱、毫无规律,而是在per