澄清误解
- 没有事先固定选项，不是“罐头回答”
- 运行时没有“联网”，不是“网络搜索”
ChatGPT这个语言模型，真正在做的事情是【文字接龙】。
训练策略
- 自监督学习：爬大量网路资料
- 预训练模型/基石模型
- 监督学习：人类老师言传身教
- 增强学习：人类老师批评表扬
研究问题
- Prompting：如何调教，精准地提出需求
- Neural Editing：如何精准地修正错误
- “ChatGPT的出现将提升全人类水平？”
- Machine Unlearning：空空，遗忘
ChatGPT这个语言模型，真正在做的事情是【文字接龙】。