SkiptocontentOpenHydraSearchKMainNavigation首页课程新一代人工智能经典实验【中学】XEdu系列【中学】中小学AI开源课程倡议使用指南 活动 获取支持     Onthispage人工智能创新型教师培育计划（第一期）一、组织

近年来,大语言模型(LLM)在各个领域取得了显著成效。但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能,但在记忆回溯任务上表现较弱。针对这一问题,NVIDIA提出了Hymba架构,通过在同一层中结合注意力头和