关键结论：
开源社区模型不具备真正智能，更好的小模型来自大模型的 Scale Down
GPT-4模型信息：采用MoE架构，16个experts，800b参数
如何减少幻觉 hallucination？scaling/retrieval/reward model
指令遵循的开源小模型被过度炒作，已经到达瓶颈，突破方向是更强的 Base Model 和更进一步的反馈数据
用不了多久，大家会把80%算力从 Training 转向 Serving
预计未来模型的迭代节奏会很像手机系统：1-2 年更新一次大版本，中间有无数次小版本迭代；
中期来看，RLHF 不应该是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路径
长期来看，小版本迭代的角度：隐私/权限的增强、更多的图片/文件/声音格式的 Embedding
LLM 的 Context Window 就像电脑内存，向量数据库是 LLM 的硬盘
Robot Learning 已成为学界主流研究路线
详细见链接：https://new.qq.com/rain/a/20230711A03VL700?no-redirect=1
标签：总结,LLM,迭代,模型,开源,版本,Alignment From： https://www.cnblogs.com/end/p/17603611.html