Autoformer
他的特点是加入了自动相关，代替原来的自注意力机制，因为作者认为数据不能简单由数值来判断，而应该根据趋势来判断。
他与Dlinear一样，都是用到了decomposition，这个拆分（快速傅里叶变换FFT）基于 STL（季节性，趋势性），数据=趋势性数据+季节性数据（周期）+余项
auto-correlation代替注意力，series-decomp用来把原始数据分解成季节（频繁小震荡）和趋势（大趋势）
编码器是原始输入
解码器是拆分后的季节性和趋势性
auto-correlation利用随机过程的马尔可夫过程，以涛为时间窗口，计算分解后的两个周期对应那两小段的相关性，是个标量（最后加个softmax保证计算出的多个标量和是1），多个计算的标量连起来就是个趋势，这个自己找的趋势和上个图的 trend-cyclical init原始分解出的趋势加起来。解码器出来时季节和趋势又加回去
结论：他对季节性周期性强的数据，预测效果最好，比如车流（有早晚高峰，工作日比周末车少）
informer
目前对于减少transformer时间复杂度的方法
作者创新了个概率分散自注意力机制，使计算大小从L*d变为u*d，减少了时间复杂度
蒸馏主要靠这个最大池化。
Yformer
informer和unet结合，unet就是先卷积，再反卷积
但这个效果只比informer好了一点点
Dlinear
双线性结构。decomposition先分解原数据的趋势和季节，autoformer也用这个。
主打一个简单。
但视频作者说这种唱反调的容易被拒稿
mamba
主要是说，循环神经网络 训练慢，推理快， transformer训练快，推理慢，
mamba两个都快，训练时并行计算，推理时递归计算。
让SSM由时不变改为时变。速度快了2.8倍，内存少了86%