• 2024-11-11GIT RE-BASIN: MERGING MODELS MODULO PERMUTATION SYMMETRIES (1)
    在深度学习模型的训练过程中,经常会遇到这样的现象:每次训练,虽然初始值、随机种子、训练数据的顺序不一样,但是得到的loss曲线都差不多,在验证集上的结果也差不多.这篇论文从landscape的角度解释了这个问题:神经网络的losslandscape并不是我们想象中的很混乱、毫无规律,而是在per