2020年，OpenAI团队发表论文，正式提出了大模型开发的经验法则Scaling Law，目前它并没有统一的中文名称，大致可以理解为“规模法则”，更通俗地说是“大力出奇迹”。2022年年底，ChatGPT的横空出世验证了“规模法则”的“智能涌现”能力——规模越大，效果越优。要提升模型效果，就需要不断扩大参数规模、训练数据量、计算资源三要素的规模。自此，Scaling Law被大模型厂商奉为圭臬，一场重点围绕算力、参数的全球AI竞赛打响，并在大模型的狂飙突进中不断升温，如今仍未休止。
继今年4月微软和OpenAI被曝筹建一个可能耗资超千亿美元的AI超级计算机后，特斯拉CEO埃隆·马斯克旗下的人工智能公司xAI、研发开源大模型Llama的Meta近日里均有新动作，喊出了“世界最先进”“最强大”的口号和目标。《中国经营报》记者注意到，科技巨头仍在遵循Scaling Law各自加大AI大模型的资金资源投入，致使大模型竞争持续白热化，而与此同时，通用大模型也在通过降价、开源、多参数版本等措施向“小模型”下沉拓展。
“规模法则”持续：大资金、大算力、大参数
7月23日，马斯克通过社交媒体宣布，xAI团队、X团队及英伟达等合作公司自当地时间7月22日凌晨开始在美国田纳西州的孟菲斯超级集群上进行训练，该集群号称“世界上最强大的AI训练集群”，使用10万个液冷H100图形处理器，目标是“到今年12月训练出按每项指标衡量都是世界上最强大的人工智能”。这里作为对比，目前业内公开的三个高性能的超级计算机系统包括Frontier、Aurora、微软Eagle，他们使用的处理器分别是37888个AMD GPU、6万个英特尔GPU、1.44万个英伟达H100 GPU等。
公开信息显示，xAI于2023年4月注册成立，同年11月推出了其首个AI大模型产品——Grok。今年3月中旬，xAI宣布开源3140亿参数的大模型Grok-1。5月，xAI完成了新一轮高达60亿美元的融资，估值达到240亿美元。
与马斯克同样喊出“世界上最大、功能最强的开源大模型”的是Meta公司。7月24日，Meta推出了最新的开源大模型Llama3.1 405B——405B指4050亿参数量。Meta方面介绍，这是“当前最大的开源模型”，模型的训练数据涉及15万亿个token（大模型文本处理的最小单位），使用1.6万个英伟达H100 GPU。迄今为止，Llama所有版本的总下载量已超过3亿次。
开源大语言模型在功能和性能方面大多落后于封闭式模型。Meta创始人兼CEO马克·扎克伯格称，开源正在迅速缩小（与封闭模式的）差距。“从明年开始，预计未来的Llama模型将成为业内最先进的。即使在此之前，Llama已在开放性、可修改性和成本效益方面处于领先地位。”需要说明的是，在Meta公开的Llama3.1 405B技术论文中，该模型在通用知识、可操控性、数学、工具使用和多语言翻译等方面能够与OpenAI最新的GPT-4o、Anhthropic公司的Claude 3.5 sonnet等旗舰模型相媲美，甚至在人工评估的比较中，其总体表现比这两个模型更好。
扎克伯格及Meta坚持“开源人工智能的前进路线”，其“炮口”显然瞄准的是以OpenAI为代表的封闭模型公司。自然语言处理（NLP）专家、新浪微博新技术研发负责人张俊林指出，开源和闭源模型随着时间存在能力差距，二者差距是逐步减少的，而Llama3.1 405B的出现让两条线出现了交点，“基本可以终结开源闭源之争”。Meta最新开源大模型的出现，对于开源模型、闭源模型来说都有重大影响。对于前者，如果能力不如LlaMa3，就需要考虑如何做出差异化和不同特色；而对于后者，如果能力赶不上Llama3，就需要向公众解释对用户收费的依据问题（除了覆盖推理成本以外的费用）。目前来看Meta继续将未来更强模型开源的决心是较大的，随着下一代的开源，或将逼迫原先定位为基础模型的创业公司转向特色产品赛道。
事实上，无论开源，还是闭源，科技巨头在大模型领域的争锋，会持续伴随着大算力、大参数的投入，而这背后必然需要的是大资金的注入。据美国媒体The Information援引知情人士及未公开财务文件报道，预计OpenAI今年训练ChatGPT及新模型的成本将高达30亿美元，再加上公司组织及人员运营成本，今年或将产生50亿美元的资金缺口，这意味着OpenAI在未来12个月内需要新的资金支持。对此报道，OpenAI官方并未予置评。
向“小”兼容，投入构建生态
大模型的Scaling Law最终能否通向AGI（通用人工智能），目前学术界仍存有质疑的声音，但产业界科技巨头都在遵循Scaling Law探索大模型的新突破。记者观察到，大模型在做“大”的同时也在向“小”拓展兼容。
扎克伯格表示，Meta正在推动开源AI成为行业标准，在发布前沿级AI模型Llama3.1 405的同时，还升级了Llama3.1 70B、8B两个模型。对于开发人员来说，使用Llama3.1 405B进行推理的成本约为使用OpenAI的GPT-4o等封闭模型的50%，Llama3.1将成为微调和“蒸馏”较小模型的“最佳选择”。
商汤研究院院长田丰向记者解释，不同参数规模的模型适用于不同的终端设备和平台，例如百亿、千亿级的大模型一般部署在云端，而百亿级以下的部署在移动终端侧。
Meta的Llama3.1模型在上线首日即已与包括AWS、英伟达、Databricks、戴尔、微软Azure、谷歌云、Snowflake等25家企业实现合作，共同提供服务。对此，AWS（亚马逊云科技）首席执行官Matt Garman表示，客户普遍希望根据自身的具体用例自定义和优化Llama模型，通过在亚马逊云科技上访问Llama3.1，客户可以简单地开箱即用，负责任地构建AI。
在扎克伯格看来，开源人工智能代表了“世界上利用此项技术为每个人创造最大经济利益和安全的最佳机会”。从国家间的科技竞争来看，最好的策略是建立一个强大的开放生态系统，让领先公司与政府、盟友等密切合作，以确保能够最好地利用技术的进步，并且在长期内实现可持续的先发优势。
就在Llama3.1面市的几日前，7月18日，OpenAI推出了新一代入门级别的AI模型GPT-4o mini，号称其是“功能最强、性价比最高的小参数模型”，旨在服务更广泛的客户群体，对于开发人员来说能够以更低的成本、更轻量级的工具来构建AI应用。相比GPT-4o，mini版在价格上便宜了96%多，比GPT-3.5 Turbo也要便宜60%—70%。OpenAI团队称，之所以开发GPT-4o mini，是因为注意到开发人员越来越渴望使用较小的模型。
无独有偶，谷歌在今年6月底发布了Gemma2开源大模型，这是谷歌继今年1月首次发布开源AI模型Gemma后的最新升级，与其未开源的Gemini大模型采取同款技术架构，主打“卖点”是开源、轻量级、免费可商用、性能佳。据介绍，Gemma2 27B模型可在单张谷歌云TPU、英伟达A100 80GB GPT或英伟达H100 GPU上运行推理。
科技部国家科技专家库专家周迪向记者表示，小模型有应用场景，通过推出更轻便、更经济的模型来吸引更多用户。另外，大模型在做到极致后，也可能会遇到一些瓶颈，比如算力消耗过大、训练成本过高等问题。此时，将大模型进行精简和优化，推出更适合特定场景和需求的小模型，也是一个不错的选择。
总体来看，无论是开源、降价，还是做多尺寸、轻量化的“小模型”，都是大模型平台扩大市场占有率、推动大模型普及的举措。值得一提的是，受制于大模型的高投入壁垒，今年以来小模型快速流行起来，许多模型公司瞄准行业场景、细分领域等寻求商业化突破。由此带来一个疑问：按照Scaling Law法则，大模型的通用性、智能水平要远超过小模型，但如果小模型效果比大模型好，是否驳斥了Scaling Law的合理性？张俊林指出，国产厂商一方面要重视Llama、Gemma等开源大模型的中文化工作，拥有当前最强中文模型的能力并不会弱于获得大量资金支持的专业大模型公司，而且投入小、性价比高；另一方面在做小模型时，要注重用Llama3.1 405B这种最强开源模型来蒸馏小模型的思路，不仅提升效果，而且也是小投入和产出的买卖。
如何系统的去学习大模型LLM ？
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~
标签：AI,Llama3.1,模型,开源,争锋,Meta,OpenAI,最强,高性价比 From： https://blog.csdn.net/2401_85375298/article/details/140733094