Adaptation
【Motivation】
语言模型（给出提示后执行任务）不适用于所有下游任务（如自然语言推理（NLI）、问题回答（QA）、将网络表格转换为文本、解析电子健康记录（EHR）等）
差别在于：语言模型的训练数据的格式和主题可能不同，或需要随时更新
GPT3任务不可知，不针对特定任务优化，可以捕捉任务通用结构以应对下游任务，虽然灵活但在一些任务上可能表现不够好
总之，由于不同任务的数据集建模方法不同，因此处理下游任务时会出现一定问题
通用| 格式 | 自然语言推理（NLI） | BERT训练和MASK标记 |
|
两句子比较 然后产生单一二进制输出 |
BERT训练时使用了MASK标记 但一些下游任务没有使用，所以需要根据具体情况调整 |
|
| 主题 | 特定领域需求 | 广泛主题的灵活性 |
|
特定领域有相应专业术语 如医疗记录分析和法律文档解析 |
下游任务突然聚集在新的或独特的领域 超出了模型的训练范围 |
|
| 时间 | 新时代需求 | 非公开信息需求 |
| 时间推移，新信息和知识会产生 | 训练期间不公开信息，需要依据特定领域的知识和调整 |
1.motivations
2.proposed solution
3.evaluation
4.analysis of the identified problem, idea, evaluation
5.future directions
6.questions left with
标签：训练,模型,任务,特定,Adaptation,下游 From： https://www.cnblogs.com/asandstar/p/17987568