Roberta

论文地址：https://arxiv.org/pdf/1907.11692.pdf

Static vs. Dynamic Masking

Roberta使用动态Mask。

Bert在预处理训练数据时，每个样本会进行一次随机的mask，后续的每个训练步都采用这次mask，实际上就是每个epoch是重复的，被称为静态mask。Roberta在预处理时没有进行mask，而是在每次向模型提供输入时进行随机mask，这意味着mask是变化的、动态的。

Model Input Format and Next Sentence Prediction

Roberta去除了 NSP 任务，更改输入为 FULL-SENTENCES

Bert为了捕捉句子之间的关系，使用了NSP任务进行预训练。论文中对输入与NSP任务设置了下面的两组实验：

使用NSP：
SEGMENT-PAIR+NSP: 输入为连续的两个段落 （Bert）
SENTENCE-PAIR+NSP: 输入为连续的两个句子 （会提升bs，以达到和SEGMENT-PAIR相同token数量）

放弃NSP：
FULL-SENTENCES: 输入为连续的句子，可以跨Doc （Roberta）
DOC-SENTENCES: 输入为连续的句子，不能跨Doc （会略微提升bs，以达到和FULL-SENTENCES相同token数量）

large batches，more dataset， pretrain longer

更大 Batch size

更多数据，更多epoch

byte-level BPE

Bert使用 wordpiece（BPE的一种），用 unicode characters 作为最小子词单元。
Roberta使用 byte-level BPE， bytes 作为最小子词单元