首页 > 其他分享 >【布客技术评论】大模型开源与闭源:原因、现状与前景

【布客技术评论】大模型开源与闭源:原因、现状与前景

时间:2024-04-21 18:33:05浏览次数:23  
标签:训练 布客 模型 硬件 开源 闭源 算力

在人工智能领域,大模型的开源与闭源一直是一个备受争议的话题。近期,某大厂厂长说了“开源模型永远超不过闭源模型”,结果,脸书就发布了开源必须Llama,超过了OpenAI 的闭源模型 GPT4。本文将探讨大模型开源与闭源的原因、当前状况以及未来前景,以期为读者提供深入的理解和分析。

算力稀缺性的考量

算力,作为人工智能领域的核心资源,对于大模型的训练和应用至关重要。当算力稀缺时,开发者往往倾向于选择闭源模式以赚取利润。这是因为算力稀缺时,训练模型的门槛较高,入局的玩家就少,产品就具有盈利的可能。

然而,当算力不再稀缺,开发者就无法通过闭源模型提供服务获得足够的利润,他们可能会倾向于选择开源模式。开源不仅可以帮助开发者赚取名声,提升个人或团队的知名度,还能够促进技术的创新和进步。通过开源,开发者可以吸引更多的社区参与和贡献,共同推动人工智能技术的不断完善和发展。

文生图模型就是个很好的例子,此类模型中,StableDiffusion 和 NovelAI 是开源的,MidJourney 和 DALLE3 是闭源的(其前身DALLE2也是开源的)。然而模型不仅仅指代架构,还包含模型参数。如果我们按照不同参数统计模型个数,开源社区中的 StableDiffusion 模型数量远远多于其它架构的模型,并且远远多于大语言模型的个数总和。

究其原因,StableDiffusion 模型在一张 4GB 的家用显卡就能训练或者微调这类模型,因此每个文生图用户都有条件来训练新的模型。正所谓“没有人一直开源,但总有开源的人”,假设在模型训练者中,有1%~10%能够将其模型开源,开源生态也能欣欣向荣。

开源模型才是终极答案

开源模型在服务B端和C端用户方面都具有显著的优势。对于B端用户而言,他们通常有天然的保密需求,内部资料不能外传。因此,开源模型能够为他们提供一个安全、可靠的私有化部署平台,让他们在保护内部资料的同时,充分利用大模型技术的优势。此外,B端用户还可以根据自己的业务需求对开源模型进行定制和优化,以满足特定的应用场景。

对于C端用户来说,他们的需求千人千面,需要微调大语言模型来实现个性化服务。例如,很多C端用户都有强烈的角色扮演和对话需求,而模型是否能够胜任取决于是否在海量的角色扮演对话数据集上进行微调。这类短对话数据集比起互联网上大量长文本来说,简直是沧海一粟,需要特地由人工撰写或者补全。

目前来看,只有ChatGPT4和ChatGLM4这两个闭源模型能够胜任这类任务。但如果采用开源模型加微调,那就不一样了,这使得开源模型在C端市场中具有更大的应用潜力。通过微调开源模型,C端用户可以获得更加精准、个性化的服务体验,极大满足用户各方面的需求。

闭源模型并不是稳赚不赔

尽管闭源模型在一定程度上能够保护开发者的利益,但是投资做大语言模型并不是稳赚不赔的。我们都知道芯片流片一次要几百万,但是做一个大语言模型,至少要乘个几百到几千倍。就算有了充足的资金,所需的算力也并不能马上部署到位。

可见训练大模型的成本已经与定制硬件相差无几,而硬件作为模型的上游产业,其技术进步和成本变化对大模型的影响不可忽视。随着未来更先进的硬件技术的出现,人人都有可能训练出当前规模,也就是几B到几十B的大语言模型,这使得当前闭源模型的投入可能面临打水漂的风险。

假如有两个老板,一个人投资大语言模型,而另一个人投资硬件。投资硬件的人得到了单位面积算力提升几十到几百倍的芯片,使得更多的人能训练大语言模型。那么显而易见,投资大语言模型的人就玩完了。

这就好比,卖铲子的人往往比挖矿的人赚钱,因为铲子作为工具,其需求相对稳定且广泛,而挖矿则存在较大的不确定性和风险。同样地,在人工智能领域,提供大模型训练算力的公司可能会比直接训练和应用大模型的公司更具经济效益。这些公司还可以通过提供算力、数据、算法等支持服务,从多个维度获取收益,降低单一业务的风险。

未来展望

综上,大语言模型也好,文生图模型也好,无论什么模型要想更好服务人类,解放生产力,就必须能够开源并且端侧部署。这是毋庸置疑的。

随着大语言模型数量增长,越来越多的人会加入它的上游,也就是硬件领域,带来硬件的突破进展。而随着硬件的进展,越来越多的开发者将倾向于选择开源模式以共享模型、促进技人工智能进步。

可能这就是新的指数爆炸,AI 发现新的物理规律,新的物理规律能够设计更强的硬件,更强的硬件能欧训练更强的AI。比起软件领域自己的指数爆炸,新的指数爆炸贯穿了理学、硬件和软件,将我们的世界连成一个闭环。

标签:训练,布客,模型,硬件,开源,闭源,算力
From: https://www.cnblogs.com/apachecn/p/18149315

相关文章

  • 在Linux中,开源软件和自由软件的区别?
    在Linux和更广泛的软件领域中,开源软件(OpenSourceSoftware)和自由软件(FreeSoftware)是两个经常被提及且容易混淆的概念。尽管它们共享一些相似之处,但它们在理念和哲学上存在一些关键的区别。1.开源软件开源软件强调的是软件的源代码对用户可见,用户可以查看、修改和分发软件的源......
  • Python 潮流周刊#47:当你的老师希望你去做开源
    本周刊由Python猫出品,精心筛选国内外的250+信息源,为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景:帮助所有读者精进Python技术,并增长职业和副业的收入。以下是周刊全文(限免,点击链接阅读)限时免费,点击阅读以下是本期摘要(正文全文见......
  • .NET开源免费的跨平台框架 - MAUI(附学习资料)
    前言前几天分享了一个.NETMAUI开源免费的UI工具包-Uranium,然后技术群有不少同学问.NETMAUI是不是免费的?能做什么?今天特意写这篇文章来介绍一下.NET开源、免费(基于MITLicense)的跨平台框架:MAUI。.NETMAUI官方介绍.NET多平台应用UI(.NETMAUI)是一个跨平台框架,用于使用......
  • 【开源】使用Python+Flask+Mysql快速开发一个用户增删改查系统
    项目演示项目本身很简单,增删改查是几乎所有系统的骨架。正所谓万丈高楼平地起,学会了增删改查,航母就指日可待了:),光速入门,直接看演示图:项目地址https://github.com/mudfish/python-flask-user-crudFlask框架介绍说白了就是一个Web框架,能够让你快速开发出Pythonweb应用。简单易......
  • vika维格表将 70 万行代码开源了
    vika维格表将70万行代码开源了vika维格云​已认证账号​关注 133人赞同了该文章今天,vika维格表郑重宣布:我们将70万行代码开源了!更为准确地说,我们正式发布了vika维格表的社区版——「APITable」。这意味着,你可以通过免费开源的多维表格技......
  • 为什么有很多出名开源的C/C++方面的高性能网络库,比如libevent,boost-asio,有些企业还要
    为什么有很多出名开源的C/C++方面的高性能网络库,比如libevent,boost-asio,有些企业还要自己写?    我个人很倾向用著名的开源软件来完成功能需求,但是发现在实际开展中很多人会反对开源,而要求自己实现一套,我不知道是我考虑太少,还是他们太武断。 因为KPI的原因更多......
  • 一个非常实用的H264视频解码器开源项目
    一个非常实用的H264视频解码器开源项目音视频开发技术 ​关注他 29人赞同了该文章一、前言:为了弄清楚H264整个解码流程,为此我专门按照H264标准文档《T-REC-H.264-201704-S!!PDF-E.pdf》,用C++实现了一个H264裸码流视频解码器,代码工程地址为:h......
  • (内含福利)Meta 发布新开源模型 Llama 3;华为 Pura 70 系列一分钟售罄丨 RTE 开发者日报
     开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(RealTimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编辑的个人观点,欢迎......
  • Codes 重新定义 SaaS 模式的研发项目管理平台开源版 4.5.3 发布
    一:简介   Codes重新定义SaaS模式= 云端认证+程序及数据本地安装+不限功能+30人免费    Codes 是一个 高效、简洁、轻量的一站式研发项目管理平台。包含需求管理,任务管理,测试管理,缺陷管理,自动化测试,cicd 等功能;Codes帮助企业加速融合研发、测试、运......
  • 我的个人博客上线开源啦,欢迎围观!
    博客地址:https://yanyunfeng.com其实很早就有开发一个自己个人博客的想法,但是一直没有付诸行动,如今大家能看到这篇文章,说明我的博客终于是上线啦,撒花~~在开发这个博客之前,我都是在各大平台上写些东西,但是吧,平台规则限制,总归不是那么自由,所以还是有一个自己的内容空间好啊!!!整个博......