如何从浅入深理解 Transformer

如何从浅入深理解 Transformer

附赠自动驾驶最全的学习资料和量产经验：链接

本回答分为三个部分：Transformer，Attention，论文

学习顺序按照排列顺序，不过还是看个人自由。如果对attention了解，就可以跳过。

Attention

• Attention based model 是什么，它解决了什么问题？

• 深度学习中Attention与全连接层的区别何在？

• Attention算法调研(算法概况)

• Attention? Attention!

• 当我们在聊Attention的时候，我们实际在聊什么？

• NLP硬核入门-PointerNet和CopyNet

• NLP算法之CopyNet 学习笔记

• 12个NLP预训练模型的学习笔记

• 从六篇顶会论文中玩转Self-Attention

• 深度学习中的注意力模型（2017版）

• Graph Attention Network的本质是什么？

• attention模型方法综述

• 模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用

• Attention机制详解（一）——Seq2Seq中的Attention

• 完全图解RNN、RNN变体、Seq2Seq、Attention机制

• 细想神毫注意深-注意力机制

Transformer

• Transformer图解

• 李宏毅-Transformer

• Transformer代码阅读

• 从Transformer说起

• Transformer的细节与技巧

• 聊聊Transformer

• The Annotated Transformer

• 对Transformer中的Positional Encoding一点解释和理解

• Attention Is All You Need — Transformer

• 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较

• Transformer结构及其应用详解

• 从语言模型到Seq2Seq：Transformer如戏，全靠Mask

• nlp中的Attention注意力机制+Transformer详解

• 碎碎念：Transformer的解码加速

• 碎碎念：Transformer的细枝末节

• 为什么Transformer 需要进行 Multi-head Attention？

• Details Need More Attention: Transformer 没有被提到的细节

• transformer中的attention为什么scaled?

• 关于Transformer的若干问题整理记录

• Transformer后生仔：Star-Transformer 剖析和pytorch实现

• 超细节的BERT/Transformer知识点

• 为什么 Bert 的三个 Embedding 可以进行相加？

• huaxiaozhuan-Transformer

论文列表

• Transformer

• BERT

• ALBERT

• RoBERTa

• GPT-2

• MASS

• BART

• UniLM-1,2

• T5

• 邱老师

@邱锡鹏

的PLM综述：https://arxiv.org/pdf/2003.08271

• 邱老师和林dalao的Transformer综述

@TniL

：https://arxiv.org/pdf/2106.04554

• THUNLP组(刘老师)

@zibuyu9

的PLM论文list：thunlp/PLMpapers