• 2024-11-13SMoA: 基于稀疏混合架构的大语言模型协同优化框架
    在大语言模型(LLM)快速发展的背景下,研究者们越来越关注如何通过多代理系统来增强模型性能。传统的多代理方法虽然避免了大规模再训练的需求,但仍面临着计算效率和思维多样性的挑战。本文提出的稀疏代理混合(SparseMixture-of-Agents,SMoA)框架,通过借鉴稀疏专家混合(SparseMixtur