一：GPT-1---预测未来在自然语言中，大量的未标记文本语料库非常丰富，但是有标签的数据训练的效果比较好，如果想要在没有标签的数据集上训练出好的模型比较难。因此作者提出了一个想法，在无标签的数据上训练一个预训练模型，然后在这些有标签的子任务上训练一个微调模型。（当时之前是CV领