自 2017 年提出后，Transformer 名声大噪，不仅颠覆了自然语言处理（NLP）领域，而且在计算机视觉（CV）、强化学习（RL）、生成对抗网络（GANs）、语音甚至是生物学等领域也大显锋芒，于是就有了近年来看到的基于 Transformer 创建的大型语言模型 GPT-3，以及“魔改”的 Transformer 在蛋白质折叠问题的 AlphaFold2 算法中大展身手……
那么，Transformer 是什么？它的工作原理如何？有哪些不同结构的 Transformer ，它们在不同领域的应用现状或前景如何？
斯坦福大学近期公开的 CS 25：Transformers United 课程将为我们一一解答。该视频内容已由矩池云进行翻译。
课程全套视频
https://www.bilibili.com/video/BV1KV4y1j7NH?spm_id_from=333.999.0.0
课程介绍
CS25 是全网免费公开的 Transformer 课程。作为近年来在 NLP 领域应用广泛的深度学习模型，课程不止于 Transformer 在 NLP 领域的应用，还重点介绍了 Transformer 及其在 CV、生物学和其他领域的最新突破和前沿应用，故而课程命名为 Transformers United。
课程共10个讲座视频，涵盖了 Transformer 在多个领域的突破及应用：
- Transformer 介绍
- NLP 中 Transformer 的应用：GPT-3，Codex
- CV 中 Transformer 的应用
- 决策 Transformer：通过序列建模的强化学习
- 多专家模型（MoE）和 Switch Transformer
- Perceiver IO 中 Transformer 的应用
- 自注意及非参数 Transformer（NPTs）
- GLOM：神经网络中的部分-整体层级表示
- Transformer 的可解释性
- 音频、语音和音乐中的 Transformer 应用：从语言建模、理解到合成
理论学习之外，你可能会有兴趣将 Transformer 应用到不同的项目或研究中，CS25 虽然没有为原始课程创建练习，但会使用 Harvard NLP 提供的《The Annotated Transformer》中的内容，另外，也可以使用 HuggingFace 的 Transformer 库（矩池云的系统镜像已支持 Transformer）。
课程主讲
讲师为斯坦福大学硕士生 Divyansh Garg、软件工程师 Chetanya Rastogi（毕业于斯坦福大学）、软件工程师 Advay Pal（毕业于斯坦福大学）。指导教授为 Christopher Manning，他是斯坦福大学计算机与语言学教授，也是将深度学习应用于NLP的领军者。
此外，该课程还邀请了不同领域研究Transformer的前沿人士进行客座讲座，OpenAI 的研究科学家 Mark Chen，Google Brain 的科学家 Lucas Beyer，DeepMind的Andrew Jaegle，还有“深度学习之父”Geoffrey Hinton等诸多前沿科学家，讨论各自领域关于Transformer的最新突破和想法，以激发交叉合作研究。
课程视频直达
课程配套资料
关于译者
Transformer 注释版