随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（AttentionMechanism）也获得了非常多的关注。注意力机制会计算一定跨度内输入文本（令牌，Token）之间的交互，从而实现对上下文的理解。随着应用的发展，高效处理更长输入的需求也随之增长[1][2]，这带来了计算代价的挑战：注

在大语言模型(LLM)快速发展的背景下，研究者们越来越关注如何通过多代理系统来增强模型性能。传统的多代理方法虽然避免了大规模再训练的需求，但仍面临着计算效率和思维多样性的挑战。本文提出的稀疏代理混合(SparseMixture-of-Agents,SMoA)框架，通过借鉴稀疏专家混合(SparseMixtur