计算效率 vs 可扩展性

Transformer是我知道的最具扩展性的方法，只需要增加不同领域的数据，增加算力，简单增加它的查询Q的种类，就可以不仅增加它的通用性，也能提高它在各个专门领域的能力。这也是为什么OpenAI专注于建立更大的算力中心，只需要更多的算力和更多样化的数据，Transformer就会不断进化。

但对算法工程师来说，这是个坏消息，这意味着公司为算力而不是人力付钱。几十年的计算机传统中，工程师的技能水平体现在，开发算法以在消耗最少计算资源的情况下，完成某项传统的具体任务。公司甚至会设定一整套职级来代表工程师在这方面的能力。

现在工程范式正在快速改变。使用可扩展的通用AI，并拥有大量算力的公司，会战胜拥有大量专有技术的公司。比如现在的sora之类的生成式AI，正在威胁像ADOBE这样的传统软件公司。sora的开发者只有几人，而ADOBE的软件开发团队肯定要大上不止一个数量级。

一个公司如果想要适应AI时代，需要建设通用AI团队和巨大的算力中心，并减少在专门技能上的投入。