On the Opportunities and Risks of Foundation Models

　　随着 BERT、DALL-E、GPT-3 等大规模预训练模型的出现，AI 社区正在经历一场范式转变。

　　在 BERT 出现（2018 年）之前，语言模型的自监督学习本质上只是 NLP 的一个子领域，与其他 NLP 子领域并行发展。但在 BERT 横扫 11 项 NLP 任务之后，这种格局被打破了。2019 年之后，使用自监督学习构造语言模型俨然已经成为一种基础操作，因为使用 BERT 已经成为一种惯例。这标志着大模型时代的开始。

　　问题：为什么这里说自监督学习的BERT，最终标志着大模型时代的开始？

　　　　　自监督学习对语言模型意味着什么？

　　　　　除了自监督学习，在NLP中的其他子领域是什么？

引用链接：https://zhuanlan.zhihu.com/p/401157815

论文链接：https://arxiv.org/pdf/2108.07258.pdf

正文分四部分，阐述内容如下：

• 能力：模型的能力，模型可以做到的事
  • 语言、视觉、机器人学、推理、交互、理解等；
• 应用：可应用领域
  • 医疗、法律、教育等；
• 技术：实现过程中涉及到的问题
  • 建模、训练、适应、评估、系统、数据、安全与隐私、稳健性、理论、可解释性等；
• 社会影响：
  • 不平等、滥用、环境、法规、经济、伦理等。