Performer

2023-05-31深度学习进阶篇[7]：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。
深度学习进阶篇[7]：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。基于Transformer模型在众多领域已取得卓越成果，包括自然语言、图像甚至是音乐。然而，Transformer架构一直以来为人所诟病的是其注意力模块的低效，即长度二次依赖限制问题。随着输入
2023-01-09观察者模式
介绍观察者模式又称为源收听模式，观察者与被观察者之间是一对多的关系，简而言之，观察者模式就是，当被观察者发生变动，系统会主动他通知观察者，从而做一些处理。场景接下来实现
2022-10-07谷歌自己的坑自己添 | 大改Transformer注意力，最终速度、内存利用率都大幅度提升（附源代码）
”计算机视觉研究院专栏作者：Edison_G长按扫描二维码关注我回复“谷歌”获取源代码简述：Google介绍了Performance，Transformer体系结构，它可以估计具有可证明精度的正则(Softmax