1 NLP 基础
1.1 词的表示过程演进：
- one-hot 编码
- 词袋模型
- word embedding
1.2 multiple sense
1）明确两个概念：token 和 type
- type：形式
- token：含义
例如 bank 有很多不同的（token）含义（银行、河岸等），但它们都有着相同的（type）形式。
2）考虑到上面的问题，现在的 embedding 做法是为每个 token 提供一个 word embedding
然后具有相近语义的 token 也具有较为接近的 embedding 距离。
1.3 如何 embedding
1）基于 RNN 的 ELMO
最终我们取 hidden layer 层的向量做为 token 的 embedding。
或者更进一步，通过 weight 将所有的输出进行加权求和：
2）基于 Bert
Bert 基于 Transformer，关于 transformer 可以参考：
bert 的原理可能无法一直记得很清楚，但我们只需要记得 bert 的作用，简单来说可以理解为 transformer 中的 encoder，给定一个句子（或词汇），输出该句子（或词汇）的 embedding 表示：
注意：这里图片中中文的例子是用“词”作为输入，但是更推荐用中文的 “字”作为输入，因为中文的“字”是有限的，而“词”理论上是无穷的，这会导致编码空间非常大。
2 BERT 介绍
2.1 背景
可以参考上面 1.3 节 2）。
2.2 如何训练 Bert
1）方法一：Masked Language Model（Masked LM）
采用对输入进行 mask 让其重建来训：
- 将输入的某个词 mask 掉，然后取其输出 embedding，丢入一个 multi-class classifier 中，要求其预测出现在被 mask 掉的那个词汇是哪个词汇
- 由于 linear classifier 的分类能力较弱，所以 BERT 就需要输出一个表征能力比较好的 embedding，这样就巧妙的获取了对特定词的良好的 embedding
- 另一个好处是相似的词，在这种训练框架下，也能获得距离较近的 embedding 表征
2）方法二：Next sentence Prediction
采用预测两个句子是否能连成一个句子：
- 在两个句子间加一个特殊符号 [SEP] 标识告诉模型这是两个句子
- 在开头加一个特殊符号 [CLS] 告诉模型接下来做的是分类任务，就是预测是否能组成一个句子
这里注意：由于 BERT 的内部是 transformer 架构，使用 self-attention 机制使得任意两个输入向量之间的距离是一样的，所以任务标识可以放在开头。如果单向 RNN 结构，则需要放在末尾。 - 同上一节一样，linear classifier 的分类能力有限，这也会促使 BERT 去产生更好的 embedding
3）小结
通常情况下，上面这两种方式在训练 BERT 时是一起使用的，让 BERT 同时去解这两个任务时，它会学的更好。
2.3 How to use Bert
在 BERT 的论文中，作者其实时将 BERT model 模块本身和下游任务一起训练的（当然 bert 大部分情况下都是 fine-tune），为此举了四个例子来展示如何实现训练和使用
1）case 1：sentence classification
输入：句子
输出：预测类别
- 下游任务是文本分类，由 Linear Classifier 模块表示，这个部分是通过随机初始化参数，从头开始学的
- 文本表征（embedding）模块主要就是 BERT，这部分是 Fine-tune 形式参与训练的
2）case 2：each word insentence classification
输入：句子
输出：句子中每个词的预测类别
- Linear Cls 是下游任务模块，从头训
- Bert 采用 fine-tune 方式
- 训练时需要给定当前句子 以及 当前句子中每个词的类别
3）case 3：Nature Language Inference（推理）
输入：两个句子，一个作为前提（A），一个作为假设结论（B）
输出：预测类别，即判断以 A 作为前提的情况下，B 假设是否成立（T、F or unknown）
- sentence 1 作为 premise，采用 [SEP] 与 sentence 2 作为 hypothesis 分隔开；
- 第一个位置用于 CLS；
4）case 4：Extraction-base Question（抽取文章用于回答，QA）
先介绍这个 case 吧：
通常情况下，这类问题期望我们输入一篇文章给 Model，然后根据我们的 question 由 model 抽取出答案。
注意：这里面有个限制就是 answer 是要在文章中出现过的，比如上图第一个问题的回答 gravity 就在文章中出现过。
这个问题的结构化表示如上图，定义文章 Document 由一系列 token 组成（\(\{d_1, d_2, ..., d_N\}\))，其中 \(d_i\)即表示第 i 个 token，同理问题 Query 也用此方式表示。
接下来，我们将 D 和 Q 作为输入送入 Model，模型会输出来两个整数 s、e，分表代表回答内容在 Document 中的起始位置。例如上面第一个问题，答案 gravity 在 D 中的位置区间就是 17-17（第17个单词到第17个单词）。
那么，BERT 中如何解这个问题呢？
- 首先，将 question 和 document 拼接作为 BERT 的输入
- 接两个网络层分别产出两个向量（下图中红色、蓝色），这两个向量和 BERT 输出的 embedding 向量具有相同的 size
- 先将红色向量与 document 中每个输出 token 进行点乘（dot product），结果过 softmax，得到每个 token 的概率表征，取其中最大的作为 s 输出（例如图1中第二个 token 的概率最大，所以 s=2）
- 再将蓝色向量与 document 中每个输出 token 进行点乘，过 softmax 后，取概率最大的位置作为 e 的输出
- 最后的答案就由 s、e 来进行定位
- s、e 任务的点乘向量与 token 的 Embedding 向量维度一致
- 如果 s、e 不满足正常情况（s<=e），此种情况作为“此题无解”输出
- Bert 采用 fine-tune，红、蓝向量从头开始训
2.4 for chinese：ERNIE
ERNIE 是为中文设计的 BERT，其采用的训练方式有一点不一样，因为 BERT 采用对单个 字 进行 mask，但这在中文中是很容易被猜出来的，所以其采用了 mask 词 的方式进行训练。
这里只是提一嘴，更具体的还是看论文吧：https://arxiv.org/abs/1904.09223
2.5 BERT 每层的侧重
常用 Bert 为 24 层，nlp 任务其实是一个 pipiline 任务，从语言学的角度上来说，对一个句子的分析通常包含词法分析、语法分析、语义分析等过程，这张图就展示了在不同任务上，Bert 的不同层所占的权重大小（也即哪些层的输出在这些特定任务上的表现更好）：
这启发我们，可以根据 nlp 任务的不同特性来选择使用 bert 不同层抽象出来的 token embedding 进行使用，例如对于 POS 任务来说，第 11-13 层的权重较大，其 hidden embedding 效果较好。
3 GPT-2
Generative Pre-Training（GPT）本质上就是一个巨大无比的 language model，其底层采用的是 transformer 的 Decoder 模块。
3.1 GPT 的训练
- 训练模式和 bert 类似，输入一个句子的开始标志
、当前词汇，预测下一个词汇 - 每个词汇过 self-attention，其 query 输出和前面的词的 key 输出做权重计算，同时也和自己的 key 做权值计算，最后将所有计算结果做 sum。注意这里通常是过好几层 self-attention 层，猜得到最终的输出，最终的输出其实是一个 embedding。
3.2 zero-shot
GPT 是非监督学习，采用 zero-shot 方式进行训练。即使是在这种缺失监督信息的情况下，仍然能奇迹般的泛化出对某些任务的解题能力，这是比较神奇的。
- Reading Comprehension：只通过输入文章表征、query 表征，然后接上 "A:" 提示标志，GPT 就会自动的给出该 query 的回答，上图折线是不同参数（横轴）下 GPT 的 F1（纵轴）指标效果；
- Summarization：类似的，给出文章表征和特定 "TL;DR:" 提示标志，就会得到摘要；
- Translation：给出前两个如上图所述的范式，再给出第三行范式，就会自动的得到对应的法语翻译结果（但是这个任务的效果很差）；