发布不到一周,OpenAI 的最新模型 o1 的“护城河”似乎已经失守。
近日,有人发现谷歌 DeepMind 早在今年 8 月发表的一篇论文,揭示了与 o1 模型极其相似的工作原理。
这项研究指出,在模型推理过程中增加测试时的计算量,比简单地扩展模型参数更有效。基于论文中提出的计算最优(compute-optimal)测试时计算扩展策略,规模较小的基础模型在某些任务上甚至可以超越一个规模大14倍的模型。
有网友惊呼:这几乎就是 OpenAI o1 的原理!
众所周知,OpenAI CEO 山姆·奥特曼(Sam Altman)喜欢走在谷歌的前面。那么,OpenAI 这次抢先发布 o1 的 preview 版本,难道就是因为他们意识到谷歌已经在研究这个方向了吗?
没有护城河,也不可能有护城河
这引发了一些人的感慨:谷歌在内部文件中曾经说过,没有任何一家企业拥有“护城河”,OpenAI 也不例外。这次的事件似乎再次印证了这一观点。
在这个充满变数的领域,模型发布的速度成为了关键因素。就在大家对 o1 争相讨论时,OpenAI 已经宣布将 o1-mini 的运行速度提高了7倍,并且每天可供使用50次;o1-preview 的使用限制也提升至每周50次。
谷歌 DeepMind:测试时计算更优
谷歌 DeepMind 的这篇论文标题为:优化 LLM 测试时计算比扩大模型参数规模更高效。
研究团队提出的核心思想源于对人类思维模式的观察。面对复杂问题时,人类往往需要更长的时间来思考并改进决策。那么,大型语言模型(LLM)是否也可以利用额外的测试时计算来提升性能呢?
一些先前的研究已经证明,这种方法确实可行,但效果较为有限。谷歌团队的目标是探索,在使用有限的额外推理计算时,能在多大程度上提升模型性能。
为此,他们设计了一组实验,使用 PaLM2-S* 在 MATH 数据集上进行了测试,主要分析了两种方法:
-
迭代自我修订:让模型多次尝试回答一个问题,在每次尝试后对答案进行修订以期获得更好的结果。
-
搜索:模型生成多个候选答案,然后选择最佳答案。
实验结果显示,使用自我修订方法时,随着测试时计算量的增加,标准最佳 N 策略(Best-of-N)与计算最优扩展策略之间的差距逐渐拉大。使用搜索方法,计算最优扩展策略在初期表现出明显优势,并在某些情况下能以仅1/4的计算量达到与最佳 N 策略相同的效果。
在计算量与预训练计算相当的情况下,团队将 PaLM 2-S*(采用计算最优策略)与一个不进行额外推理、规模大14倍的预训练模型进行了对比。结果表明,当推理 tokens 远少于预训练 tokens 时,使用测试时计算策略的效果更佳。然而,随着比率增加,或在更难的问题上,预训练模型的表现仍然更好。
研究还表明,在计算量有限的情况下,使用计算最优策略最多可节省 4 倍的计算资源。
对比 OpenAI o1:原理如出一辙
对比 OpenAI 的 o1 模型,这篇研究几乎得出了相同的结论。o1 模型通过强化学习和思维链的不断完善,在推理时采取不同的策略,并能够认识和纠正自己的错误。随着更多的强化学习和延长思考时间,o1 的性能持续提升。
不同的是,OpenAI 更快地发布了该模型,而谷歌则在 PaLM2 之后尚未将其更新至 Gemini2。
网友感慨:护城河只剩下硬件了?
这一新发现不禁让人想起去年谷歌内部文件中提出的观点:“我们没有护城河,OpenAI 也没有。开源模型可以打败 ChatGPT。”
如今看来,各家科技巨头的研究速度都非常迅猛,谁都无法保证自己始终领先。唯一可能的护城河,似乎只剩下硬件了。
因此,有人猜测,这或许是为什么马斯克近期积极建立自己的算力中心的原因。目前,英伟达在算力领域拥有绝对主导地位。但如果谷歌或微软开发出更具优势的定制芯片,情况又将如何呢?
值得注意的是,不久前有消息称,OpenAI 正在研发首颗专属芯片,并将采用台积电最先进的 A16 纳米级工艺,专为 Sora 视频应用打造。这进一步显示,当前的大模型竞争不仅仅在于模型本身,硬件资源和算力也成了决定胜负的关键因素。
谷歌 DeepMind 的研究表明,通过增加测试时计算量,可以让规模较小的模型在某些任务上媲美甚至超越更大规模的模型。这一原理与 OpenAI 的 o1 模型不谋而合,体现了在 AI 领域中“思考时间”与“性能提升”之间的关系。
然而,谁将最终在这场竞争中胜出,目前仍是未知数。对于各大科技公司而言,硬件和算力正逐渐成为一场没有硝烟的战争的新战场。
参考链接:
https://www.reddit.com/r/singularity/comments/1fhx8ny/deepmind_understands_strawberry_there_is_no_moat/
ChatGPT-4o需要直接私信!!!
标签:DeepMind,模型,谷歌,OpenAI,护城河,计算,o1 From: https://blog.csdn.net/weixin_72847531/article/details/142357051