来源：晓飞的算法工程笔记公众号，转载请注明出处论文:ExploringtheBenefitofActivationSparsityinPre-training论文地址：https://arxiv.org/abs/2410.03440论文代码：https://github.com/thunlp/moefication:westworld加速创新点研究了激活属性在预训练过程中的变