焦李成 西安电子科技大学
ChatGPT引起学术界和工业界的关注
但目前只能作为工具辅助人类工作，但不能替代人类，并不具有人类的心智。
大模型，但其实没有在基础上进行太大的创新。
Transformer，奖励模型RM，强化学习
基于人类反馈的强化学习（RLHF）方法
ChatGPT无法通过图灵测试，（提问一些弱智吧的问题）
所以ChatGPT辨伪存真能力有待提高。容易被虚假信息误导。
黄民烈 清华大学
ChatGPT是通用任务助理
对话式搜索引擎
开放讨论
实现AGI水平的对话智能体
张家俊 自动化所
虽然大模型没法直接train，但是利用finetune，提示学习，指令学习都可以进行微调和提升
1.迈向通用性的提示学习
预训练+参数微调(finetune)的问题：①资源占用过多，每个下游任务都需要一个模型 ②过拟合严重，因为下游任务可能数据少 ③丧失通用能力
预训练+提示学习(prompt)：更改下游任务的描述，变成大模型可以解决的问题。当然，大模型需要足够强大。
比如，机器翻译，变为：I love this film. Its Chinese is ?
提示语：引导大模型回答下游任务。给所有样本增加提示语很有挑战性。
2.从提示学习到指令学习
可以参考https://zhuanlan.zhihu.com/p/590311003
泛化能力增强很多。
3.我们的探索和实践
①不同的提示语得到的结果往往差异很大
所以，对于样本引入任务的共性，把提示词也进行聚类——统一提示学习方法
不足：需要提前知道任务信息，需要进一步的泛化（因为知道任务才能把提示词聚类）
效果很不错，少量样本就可以得到很好的效果。
标签：提示,模型,学习,任务,讲座,ChatGPT,下游 From： https://www.cnblogs.com/Miracevin/p/17205238.html