大语言模型进化树重磅发布，感慨技术方向选择的残酷，文末有彩蛋

文 / 高扬

今天说点有深度的内容。五一假期，学习了一篇论文《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》。

这篇论文来自 Amazon 以及 Texas A&M University 研究团队，他们通过追踪近年来语言模型的发展，构建了一个现代大语言模型的进化树，同时也对 LLMs（大语言模型） 与 Fine-turning（微调）的选用，做了一系列评估建议。关注“量子论”公众号，回复“进化”两个字，获取该论文PDF版。

来看个专门为此论文做的动画。

这个动画是用PPT做的，PPT源码已放在百度网盘，关注“量子论”公众号，回复“进化”两个字，获取大语言模型进化树动画的原版PPT。

我们可以清晰地看到：

• 用 Transformer 做解码的分支在不断壮大：GPT、LLaMA、BLOOM、Bard、PaLM、Jurassic-2、Claude等等；
• 同时做编码和解码的分支还有谷歌的 T5 & UL2、亚马逊的Alexa TM、清华大学的 GLM；
• 只做编码器的分支，ElMo、ULMFiT等已经全部淘汰，命运悲摧。

还有一些模型一开始就选错了方向。

每个语言模型的训练和迭代，都要投入非常非常巨大的人力财力物力，如果模型最终被淘汰，意味着前期的大量投入已经打了水漂。

下面这张流程图是用来评估LLMs（大语言模型）与Fine-tuned Models（微调模型）的选择过程。

写完了，看完有用吗？好像没什么太大用，都是理论性的东西，仅供扩展视野之用。

只是对于人工智能对咱们的影响，我还需要分享一个故事。

12306网站上线之前，有个工种叫黄牛，每逢过节都会大赚一笔。

2011年，12306网站上线运行，上线前两年，仍有大量的老百姓不会用网络买票，但黄牛们已开始惨淡经营。

2014年，12306网站启用实名制后，给黄牛致命一击，完全丧失了生存空间。

如今黄牛何在？你猜猜，随着人工智能的快速发展，你所处的行业被替代需要几个月？行业利润会被挤压多少？

咱们扪心自问，自己干的活又有多少“含金量”呢？

我这段时间指导写论文的次数比较多，我越用，越感到ChatGPT的强大，也越发感到不寒而栗……

在“量子论”，写“进化”两个字，获取大语言模型进化树动画的原版PPT，以及《Harnessing the Power of LLMs in Practice》论文PDF版。