大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。
Mamba的出现为带来了全新的思路和可能性，通过对结构化半可分离矩阵的各种分解方法的理论研究，可以将状态空间模型SSM与注意力机制Attention的变种进行紧密关联，进而提出一种状态空间对偶SSD的理论框架。
状态空间对偶使得研究人员设计一种新的架构 (Mamba-2)，其核心层是对 Mamba（选择性SSM）进行改进，速度提高了2-8倍，同时在语言建模方面能够保持对Transformers的压力。
Mamba的矩阵表达式
上一篇介绍了Mamba的概览，先来温习下Mamba-1模型公式：
其中xt为t时刻的输入，yt为t时刻的输出。定义的
标签：烧脑,模型,矩阵,SSM,v2,半可分,Mamba,可以 From： https://blog.csdn.net/Janexjy/article/details/139535672